大数定律与中心极限定理

大数定律

契比雪夫不等式

定理：设随机变量$X$的数学期望$E(X)=\mu$，方差为$D(X)=\sigma^2$，则对任意正数$\varepsilon$，有

$$P\{|X-\mu|\ge\varepsilon\}\le \cfrac{\sigma^2}{\varepsilon^2}$$

即为契比雪夫不等式(Chebyshev)

也可以写成

$$P\{|x-\mu|<\varepsilon\}\ge 1- \cfrac{\sigma^2}{\varepsilon^2}$$

大数定律

辛钦大数定律

（弱大数定律）

设 $X_1,X_2,\ldots$ 是相互独立，服从同分布的随机变量序列，且数学期望 $E(X_k)=\mu(k=1,2,\ldots)$，（方差无要求）则对任意 $\varepsilon>0$，有

$$\lim\limits_{n\rightarrow\infty}P\{|\cfrac{1}{n}\sum\limits_{k=1}^{n}X_k-\mu|<\varepsilon\}=1$$

平均数依概率收敛于期望

伯努利大数定律

设$f_A$是$n$次独立重复试验中事件$A$发生的次数，$p$是事件$A$在每次实验中发生的概率，则对于任意的$\varepsilon>0$，有

$$\lim\limits_{n\rightarrow\infty}P\{|\cfrac{f_A}{n}-p|<\varepsilon\}=1 \\或\\ \lim\limits_{n\rightarrow\infty}P\{|\cfrac{f_A}{n}-p|\ge\varepsilon\}=0$$

在$n$充分大时，随机事件”频率$\cfrac{f_A}{n}$与$A$的概率$p$的偏差小于$\varepsilon$“几乎是必然事件

即，==当试验次数很大时，可以用事件的频率来代替事件的概率==

依概率收敛

设$Y_1,Y_2,\ldots$是一个随机变量序列，$a$是一个常数，若对任意$\epsilon>0$，都有

$$\lim\limits_{n\rightarrow\infty}P\{|Y_n-a|<\epsilon\}=1$$

则称$Y_1,Y_2,\ldots$依概率收敛于$a$X_n\stackrel{P}\rightarrow a$

• 辛钦大数定理有，$\overline{X}=\cfrac{1}{n}\sum\limits_{k=1}^{n}X_k\stackrel{P}\rightarrow\mu$

• 伯努利大数定理有，随机事件发生的频率依概率收敛于概率

中心极限定理

独立同分布的中心极限定理

现象由大量相互独立的因素所影响

大量独立同分布的变量之和的极限分布是正态分布

设$X_1,X_2,\ldots$是相互独立，服从同分布的随机变量序列，且数学期望$E(X_k)=\mu,D(X_k)=\sigma^2$，则随机变量$\sum\limits_{k=1}^n X_k$的标准化变量

$$Y_n=\cfrac{\sum\limits_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma}$$

的分布函数$F_n(x)$对于任意$x$，有

$$\lim\limits_{n\rightarrow\infty}F_n(x)=\int_{-\infty}^x\cfrac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt=\Phi(x)$$

推论：当$x$充分大时，有

$$\cfrac{\sum\limits_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma}\stackrel{近似地}\sim N(0,1) \\或\\ \sum\limits_{k=1}^n \stackrel{近似地}\sim N(n\mu,n\sigma^2)$$

令$\overline{X}=\cfrac{\sum\limits_{k=1}^nX_n}{n}$，则

$$\cfrac{\overline{X}-\mu}{\sigma/\sqrt{n}}\stackrel{近似地}\sim N(0,1) \\或\\ \overline{X}\stackrel{近似地}\sim N(\mu,\sigma^2/n)$$

棣莫弗-拉普拉斯定理

(De Moivre-Laplace)

设随机变量$\eta_n \ (n=1,2,\ldots)$服从$n,p$的二项分布，则对于任意$x$，有

$$\lim\limits_{n\rightarrow\infty}P\{\cfrac{\eta_n-np}{\sqrt{np(1-p)}}\le x\}=\int_{-\infty}^x\cfrac{1}{\sqrt{2\pi}}e^{-t^2/2}dt=\Phi(x)$$

推论：若$X\sim B(n,p)$，当$n$充分大时，

$$X\stackrel{近似地}\sim N(np,np(1-p))$$

例