在网上看到一篇非常好的关于 SVD 的文章，转载在这里。并附上自己的理解。

原文来源: 矩阵之芯 SVD: 奇异值分解及其几何解释

参考文章

实对称矩阵的特征值一定为实数证明

证明：实对称矩阵中，属于不同特征值的特征向量相互正交
设 $\boldsymbol{Ap}=\lambda_1\boldsymbol{p}$, $\boldsymbol{Aq}=\lambda_2\boldsymbol{q}$，其中 $\boldsymbol{A}$ 为实对称矩阵，$\lambda_1$, $\lambda_2$ 为 $\boldsymbol{A}$ 的不同的特征值，$\boldsymbol{p}$ 和 $\boldsymbol{q}$ 分别是对应的特征向量。

$\boldsymbol{p}^T(\boldsymbol{Aq})=\boldsymbol{p}^T(\lambda_2\boldsymbol{q})=\lambda_2\boldsymbol{p}^T\boldsymbol{q} \tag{1}$

$(\boldsymbol{p}^T\boldsymbol{A})\boldsymbol{q}=(\boldsymbol{p}^T\boldsymbol{A}^T)\boldsymbol{q}=(\lambda_1\boldsymbol{p})^T\boldsymbol{q} =\lambda_1\boldsymbol{p}^T\boldsymbol{q} \tag{2}$

因为 $\boldsymbol{p}^T(\boldsymbol{Aq})=(\boldsymbol{p}^T\boldsymbol{A})\boldsymbol{q}$, 由 (1)-(2)得：

$\boldsymbol{p}^T(\boldsymbol{Aq})-(\boldsymbol{p}^T\boldsymbol{A})\boldsymbol{q}=(\lambda_1-\lambda_2)\boldsymbol{p^Tq}$

即 $0=(\lambda_1-\lambda_2)\boldsymbol{p}^T\boldsymbol{q}$
又由于 $\lambda_1\neq\lambda_2$，所以 $\boldsymbol{p}^T\boldsymbol{q}=0$, 即 $<\boldsymbol{p}, \boldsymbol{q}>=0$, 从而 $\boldsymbol{p}$ 与 $\boldsymbol{q}$ 相互正交。

所有特征值大于零的矩阵一定是正定阵吗？

$\boldsymbol{A}^T\boldsymbol{A}$ 是对称且非负定的。
证明：$(\boldsymbol{A}^T\boldsymbol{A})^T=\boldsymbol{A}^T\boldsymbol{A}$, 因此对称。
$\boldsymbol{x}^T(\boldsymbol{A}^T\boldsymbol{A})\boldsymbol{x}=(\boldsymbol{Ax})^T\boldsymbol{Ax}=\Vert \boldsymbol{Ax} \Vert >= 0$
矩阵乘矩阵的转置一定正定吗

---