本文主要转载了关于多元高斯分布概率密度函数的推导过程，并画出了二维高斯分布的图像，以便得到更直观的理解。

在知乎上看到两篇文章，分别是
多元高斯分布完全解析, 记为 文章一 , 从零开始推导多元高斯分布，记为 文章二

文章一的流程大致为

• 给出一维高斯分布及其概率密度函数, $X \sim \mathcal{N}(\mu, \sigma^2)$

• 对随机变量 $X$ 进行标准化，用 $Z=\frac{X-\mu}{\sigma}$ 进行换元，得到的随机变量 $Z$ 服从一元标准高斯分布，即 $Z \sim \mathcal{N}(0,1)$

  随机变量 $X$ 标准化的过程, 实际上的消除量纲影响和分布差异的过程. 通过将随机变量的值减去其均值再除以标准差, 使得随机变量与其均值的差距可以用若干个标准差来衡量, 从而实现了不同随机变量与其对应均值的差距, 可以以一种相对的距离来进行比较.

• 将一元高斯分布和多元高斯分布联系起来。如果随机向量 $\vec{Z}=[Z_1,\cdots, Z_n]^T$ 中每个随机变量 $Z_i$ 都服从标准高斯分布且两两彼此独立，则随机向量 $\vec{Z}=[Z_1,\cdots, Z_n]^T$ 的联合概率密度函数为 $p(z_1,\cdots,z_n) = p(z_1)\cdots p(z_n)$，称之为 $\vec{Z} \sim \mathcal{N}(\vec{0}, \boldsymbol{I})$. 即随机向量服从均值为零向量, 协方差矩阵为单位矩阵的高斯分布。

• 对于普通的随机向量 $\vec{X} \sim \mathcal{N}(\vec{\mu}, \Sigma)$ , 即其每个随机变量 $X_i \sim \mathcal{N}(\mu_i, \sigma^2_i)(i=1,\cdots,n)$ 且 $X_i,X_j(i,j=1,\cdots,n)$ 彼此不独立的情况下 我们通过线性变换, 使得随机向量 $\vec{X}=[X_1,\cdots,X_n]^T$ 中的每个随机变量彼此独立, 则我们也可以通过独立随机变量概率密度函数之间的关系求出其联合概率密度函数

• 引入定理 1，将随机向量 $\vec{X} \sim \mathcal{N}(\vec{\mu}, \Sigma)$ 变换为 $\vec{Z} \sim \mathcal{N}(\vec{0}, \boldsymbol{I})$. 其中 $\vec{Z}=B^{-1}(\vec{X}-\vec{\mu})$. 经过推导，得到最终的联合概率密度函数

文章二的流程大致为

• 给出一元标准高斯分布
• 给出均值为 $\mu$，方差为 $\sigma^2$ 情况下，使用 $z=\frac{x-\mu}{\sigma}$ 进行标准化。标准化的意义在于将数据点 $x$ 到均值 $\mu$ 的距离转化为数据点 $x$ 到均值的距离等于多少个总体的标准差 $\sigma$ ，这样，就消除了数据分布差异和量纲对概率计算的影响，此时的概率密度函数为：

$f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{z^2}{2}}=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

可见，高斯分布的概率密度计算核心在于计算数据点到中心的距离，并且除以标准差将这个绝对距离转化为相对距离，然后通过距离平方的指数衰减计算概率密度。

• 介绍各维度不相关的多元正态分布的概率密度函数的推导。
• 对各维度相关的多元正态分布，记为随机向量 $X$，先将数据通过投影到正交单位向量上，进行去相关，投影过程用矩阵 $U$ 表示。（其实也可以理解为旋转，通过旋转，将随机向量的每个维度变得不相关）。记投影或旋转后的得到的随机向量为 $Y$。这时，$Y$ 虽然已经去相关，但是还没有进行标准化，因此，对 $Y$ 进行标准化，以得到随机向量 $Z$。三者之间的关系如下

从公式可以看出，$Z$ 是由 $X$ 减去均值后的向量，先通过矩阵 $U^T$ 进行投影/旋转变换，去除相关性，然后通过矩阵 $D$ 进行缩放变换得到的。

总结

在文章一中，根据定理一得到 $\vec{Z}=B^{-1}(\vec{X}-\vec{\mu})$，其具体操作了

文章二中 $Z=DU^T(X-\mu_X)$, 其中 $D$ 为缩放矩阵，$U^T$ 为旋转/投影矩阵

可以看出，文章一中的 $B^{-1}$ 等价于文章二中的 $DU^T$

在文章一中，存在一个 $X$ 空间和 $Z$ 空间的比例变化，即 $dz_1\cdots dz_n=\left|BB^T\right|^{-\frac{1}{2}}dx_i\cdots dx_n$ (雅可比行列式，目前还没搞懂，需要了解一下), 而又因为 $BB^T=\Sigma$，因此最后的联合概率密度函数有一项为 $\frac{1}{\left|\Sigma\right|^{\frac{1}{2}}}$。具体推导见文章一公式(9)-(14)

可以发现，两篇文章都是通过将随机变量 $X \sim \mathcal{N}(\vec{\mu}, \Sigma)$ 变换到 $Z \sim \mathcal{N}(\vec{0}, \boldsymbol{I})$ 来求随机变量的联合概率分布的。不同的是，文章一直接通过 $B^{-1}$ 来表示这种变换，而文章二中则通过 $D$ 和 $U^T$ 两个变换以及引入中间随机向量 $Y$ 来达到同样的效果。

在文章一中，$\Sigma=BB^T$, 且由于 $\Sigma$ 是实对称矩阵，因此可以正交对角化, $\Sigma=Q \Lambda Q^T$。根据定理1，我们有

将 $\Sigma=Q \Lambda Q^T$ 代入，得到

问：这里为什么要计算 $\vec{Z}^T\vec{Z}$ 呢？
答：这是因为，由 $\vec{X}$ 变换得到的 $\vec{Z} \sim \mathcal{N}(\vec{0},\boldsymbol{I})$，因此，随机向量 $Z$ 的联合概率密度函数为

其中，指数函数的指数部分就是用 $\vec{Z}^T\vec{Z}$ 来表示的。我们通过推导，得到 $\vec{Z}^T\vec{Z} = (\vec{X}-\vec{\mu})^T\Sigma^{-1}(\vec{X}-\vec{\mu})$。可以将其代入 $p(z_1,\cdots,z_n)$ 中。又因为 $dz_1\cdots dz_n=\left|BB^T\right|^{-\frac{1}{2}}dx_i\cdots dx_n$ (雅可比行列式) 关系，所以要在 $p(z_1,\cdots,z_n)$ 上再乘上 $\left|BB^T\right|^{-\frac{1}{2}}$，即 $\left|\Sigma\right|^{-\frac{1}{2}}$。这样也就得到了最后的概率密度函数。

个人理解：
我个人比较倾向于文章一的推导流程。根据我自己的理解，我总结了完整的推导流程：

• 给出一元标准高斯分布的概率密度函数，其中 $\mathcal{Z} \sim \mathcal{N}(0,1)$ 即

• 根据标准高斯分布的概率密度函数，很容易得到内部每个随机变量 $Z_i$ 都服从标准高斯分布且两两彼此独立的随机向量 $\vec{Z}=[Z_1,\cdots, Z_n]^T$ 的概率密度函数。即

• 当面对普通的随机向量 $\vec{X} \sim \mathcal{N}(\vec{\mu}, \Sigma)$ 时，即其每个随机变量 $X_i \sim \mathcal{N}(\mu_i, \sigma_i^2) (i = 1, \cdots, n)$ 且 $X_i, X_j(i, j = 1, \cdots, n)$ 彼此不独立的情况下, 我们该如何求随机向量 $\vec{X}$ 的联合概率密度函数呢?

  一个很自然的想法是, 如果我们能通过线性变换, 使得随机向量 $\vec{X} = [X_1, \cdots, X_n]^\top$ 中的每个随机变量彼此独立, 则我们也可以通过独立随机变量概率密度函数之间的关系求出其联合概率密度函数。
  Note: 文章一说的是通过变换使得每个随机变量彼此独立，我觉得可以更进一步，通过变换使得每个随机变量彼此独立，并服从标准正态分布。文章一也正是这么做的。

• 通过线性变换公式 $\vec{Z}=B^{-1}(\vec{X}-\vec{\mu})$, 替换掉联合概率密度函数中指数部分的 $Z^TZ$。这样，联合概率密度函数就变成了 $X$ 和 $B$ 的函数。

• 再通过积分的换元，得出 $dz_1\cdots dz_n$ 与 $dx_1\cdots dx_n$ 之间的关系，体现在联合概率密度函数的系数部分。

• 接着，通过推导得到的 $BB^T=\Sigma$, 将联合概率密度函数里的 $B$ 进行替换，则最后得到的概率密度函数与 $B$ 无关。因此，我们无需显式地求出变换 $B$，就可以得到 $X$ 的联合概率密度。

二维高斯分布图像

$\mu=(0,0), \Sigma=[1, 1.5; 1.5, 4]$

$\mu=(1,1.5), \Sigma=[3, 0; 0, 3]$

$\mu=(0,0), \Sigma=[1, -0.8; -0.8, 1]$

---