概念

随机试验

• 特性

  • 可重复性：可在相同条件下重复进行
  • 可观察性：可能结果不止一个，并且能事先知道所有可能结果
  • 不确定性：结果无法事先预知

• 符号：$E$

样本空间

• 定义：样本点的集合，记作 $S$

• 情况：有限个，可列个（可以排列成一个数列），不可列

随机事件

• 定义：试验 $E$ 的样本空间 $S$ 的子集称为 $E$ 的随机事件，简称事件
• 若一次事件的结果出现在某一随机事件中，则称该事件发生了
• 特殊事件
  • 基本事件：由一个样本点组成的单点集
  • 必然事件：样本空间 $S$ 本身
  • 不可能事件：空集 $\emptyset$

事件运算

运算符

• 包含：$A\subset B$ A 的发生必然导致 B 的发生
• 相等：$A=B$
• 和事件：$A\cup B$ A 和 B 至少有一个发生
• 积事件：$A\cap B$ 或 $AB$ A 和 B 同时发生
• 差事件：$A-B$ A 发生而 B 不发生
• 不相容事件：$AB=\emptyset$ A 和 B 不能同时发生
• 逆事件（对立事件）：$\overline{A}=B$ 或 $\overline{B}=A$ 满足条件 $A\cup B=S,AB=\emptyset$

推广

• $\bigcup\limits_{i=1}^{n} A_i$ n 个事件至少有一个发生
• $\bigcup\limits_{i=1}^{\infty} A_i$ 无穷个事件至少有一个发生
• $\bigcap\limits_{i=1}^{n} A_i$ n 个事件同时发生
• $\bigcap\limits_{i=1}^{\infty} A_i$ 无穷个事件同时发生

定律

• 交换律、结合律、分配律
• 德摩根定律（对偶律）：$\overline{A \cup B}=\overline{A}\cap \overline{B}\\ \overline{\bigcup\limits_{i=1}^{n} A_i}=\overline{A_1}\cap \overline{A_2}\ldots\cap \overline{A_n} \\ \overline{\bigcap\limits_{i=1}^{n} A_i}=\overline{A_1}\cup \overline{A_2}\ldots\cup \overline{A_n}$
• ==$A-B=A-AB=A\overline B$==

频率

• 定义
  • 频数：n 次实验中事件 A 发生的次数，记为 $n_A$
  • 频率：比值 $n_A / n$，记为 $R_{n}(A)$
• 性质
  • $0\leq R_{n}(A) \leq 1$
  • $R_{n}(S)=1$
  • 对于互不相容的事件，$R_n(A_1\cup A_2\cup\ldots\cup A_k)=R_n(A_1)+R_n(A_2)+\ldots+R_n(A_k)$

概率

定义

有随机试验$E$，它的样本空间$S$。对于$E$的每一个事件$A$赋予一个实数（集合函数），记为$P(A)$，称之为概率

满足条件

1. 非负性：对于每个事件$A$，有$P(A)\geq 0$
2. 完备性：对于必然事件，有$P(S)= 1$
3. 可列可加性

性质

1. $P(\empty)=0$
2. $P(A)\leq 1$
3. $P(\overline A)=1-P(A)$
4. ==$P(A-B)=P(A)-P(AB)$==
5. 若$B \subset A$，有$P(A-B)=P(A)-P(B)$
6. （有限可加性）对于互不相容的事件，$P(A_1\cup A_2\cup\ldots\cup A_n)=\sum\limits_{i-1}^{n}P(A_i)$
7. ==（加法公式）$P(A\cup B)=P(A)+P(B)-P(AB)$==
8. ==$P(A)=0\nRightarrow A=\empty$==

概型

古典概型

• 定义：样本点有限；每一个基本事件发生的概率等可能

• 概率计算公式

  $$P(A)=\frac{事件 A 中所含的样本点数}{样本空间 S 中所含样本点数}$$

• 例

  • 100 个产品中有 4 个次品，从中抽 12 个，求恰好有 2 个次品的概率
  $$\frac{C_4^2C_{96}^{10}}{C_{100}^{12}}$$
  • 袋中 a 白球 b 红球，k 人作无放回抽取，求第 i 个人取到 白球的概率

$$\frac{a\cdot A_{a+b-1}^{k-1}}{A_{a+b}^k}=\frac{a}{a+b}$$

几何概型

• 定义：样本空间为一个区间、平面区域、或空间立体的等可能随机试验的概率模型
• 概率计算公式（$\mu$表示区间、平面区域或空间立体的长度、面积或体积）

$$p(A)=\frac{\mu(A)}{\mu(B)}$$

• 例
  • 甲乙相约 7-8 点见面，先到者最多等 20 分钟，过时离开，求两者会面概率

$$S=\{(x,y)\mid0\le x\le 60,0\le y\le 60\} \\ A=\{(x,y)\mid(x,y)\in S,|x-y|\le 20\} \\ 画图，求面积比$$

条件概率

事件 A 已发生的条件下，B 发生的概率，记作$P(B| A)$

==公式：$P(B | A)=\cfrac{P(AB)}{P(A)}$==

划分的概念

满足：

​ 1. $A_1, A_2,\ldots,A_n$互不相容

​ 2. $A_1\cup A_2\cup\ldots\cup A_n=S$

定律

• （加法公式）$P(B_1\cup B_2|A)=P(B_1|A)+P(B_2|A)-P(B_1 B_2|A)$

• ==（乘法公式）$P(AB)=P(B|A)P(A)$==

  ​ 推广：$P(A_1 A_2 \ldots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_2 A_1)\ldots P(A_n|A_{n-1}\ldots A_2 A_1)$

• ==（全概率公式）==若$A_1, A_2,\ldots,A_n$是样本空间$S$的划分，$B$为任意一个事件

$$P(B)=\sum\limits_{i=1}^{n}P(B|A_i)P(A_i)$$

• ==（贝叶斯公式）==

$$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{\sum\limits_{k=1}^{n}P(B|A_k)P(A_k)}$$

• 取$n=2$，将$A_1$记为$A$，此时$A_2$就是$\overline A$。

​ （全概率公式）

$$P(B)=P(B|A)P(A)+P(B|\overline A)P(\overline A)$$

​ （贝叶斯公式）

$$P(A|B)=\cfrac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\overline A)P(\overline A)}$$

独立性

互不相容与独立没有必然联系

概念

若$P(B|A)=P(B)$，意味着$A$的发生不影响$B$的发生

若

$$P(AB)=P(A)P(B)$$

则$A$，$B$两事件独立

定理

• 设$P(B)>0$，若$A, B$独立，则$P(A|B)=P(A|\overline B)=P(A)$
• 若$A, B$独立，则$A$与$\overline B$，$\overline A$与$B$，$\overline A$与$\overline B$也独立

推广

有$A_1, A_2,\ldots,A_n$，如果对于其中任意 2 个，3 个，...，n 个事件的积事件的概率都等于各事件概率之积，则$A_1, A_2,\ldots,A_n$相互独立

n 重贝努利试验

若在随机试验$E$中，只关注随机试验$A$即$\overline A$的发生，则称$E$为一个贝努利试验，独立地重复 n 次即为 n 重贝努利试验

设$P(A)=p$，则事件$A$出现了$k$次的概率为

$$P=C_{n}^{k}\cdot p^k(1-p)^{n-k}$$

贝叶斯详述

$$P(H|E)=\frac{P(H)P(E|H)}{P(E)}$$

H：Hypothesis，假设

E：Evidence，证据

比例角度

• 分母：符合特征的概率
• 分子：符合特征同时又符合假设的概率，通常是——符合假设的概率 × 符合假设之中符合特征的概率

新增的信息对假设类别与非假设类别产生的影响不同

若影响相同，则引入的证据是无关特征

我们容易根据似然概率得出看法，天然的将$P(H|E)$ 与 $P(E|H)$视作相同，其实是没有考虑到先验概率带来的影响

假设应该建立在先验概率上，不过先验概率基于个人的经验，必然存在偏差

$P(H)$：先验概率

$P(H|E)$：Posterior，后验概率，将证据考虑之后的概率

$P(E|H)$：Likelihoods，似然概率，在假设成立的情况下，符合证据特征的概率；伴随新增信息带来的可能性

$P(E)$：The total probability of seeing the evidence，通常用全概率公式展开