贝叶斯定理是关于随机事件 \(A\) 和 \(B\) 的条件概率的一则定理。
$$P(A|B)=\frac{P(A)\times P(B|A)}{P(B)}$$
其中 \(P(A|B)\) 是指在事件 \(B\) 发生的情况下事件 \(A\) 发生的概率。
在贝叶斯定理中，每个名词都有约定俗成的名称：
- \(P(A|B)\) 是已知 \(B\) 发生后 \(A\) 的条件概率，也由于得自 \(B\) 的取值而被称作 \(A\) 的后验概率
- \(P(A)\) 是 \(A\) 的先验概率（或边缘概率），之所以称为"先验"是因为它不考虑任何 \(B\) 方面的因素
- \(P(B|A)\) 是已知 \(A\) 发生后 \(B\) 的条件概率，也由于得自 \(A\) 的取值而被称作 \(B\) 的后验概率
- \(P(B)\) 是 \(B\) 的先验概率或边缘概率
1. 推导
根据条件概率的定义。在事件 \(B\) 发生的条件下事件A发生的概率是
$$P(A|B)={\frac {P(A\cap B)}{P(B)}}$$
其中 \(A\) 与 \(B\) 的联合概率表示为 \(P(A\cap B)\) 或者 \(P(A,B)\) 或者 \(P(AB)\)。
同样地，在事件 \(A\) 发生的条件下事件 \(B\) 发生的概率
$$P(B|A)={\frac {P(A\cap B)}{P(A)}}$$
整理与合并这两个方程式，我们可以得到
$$P(A|B)\,P(B)=P(A\cap B)=P(B|A)P(A)$$
这个引理有时称作概率乘法规则。上式两边同除以 \(P(B)\)，若 \(P(B)\) 是非零的，我们可以得到贝叶斯定理
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$
2. 其他形式
$$P(A|B)={\frac {P(B|A)\,P(A)}{P(B|A)P(A)+P(B|A^{C})P(A^{C})}}$$
其中 \(A^C\) 是 \(A\) 的补集（即非 \(A\)），因为
$$P(B)=P(A,B)+P(A^{C},B)=P(B|A)P(A)+P(B|A^{C})P(A^{C})$$
在更一般化的情况，假设 \(A_i\) 是事件集合里的部分集合，对于任意的 \(A_i\)，贝叶斯定理可用下式表示
$$P(A_{i}|B)={\frac {P(B|A_{i})\,P(A_{i})}{\sum_{j}P(B|A_{j})\,P(A_{j})}}$$