翻绳

引用知乎上的一个翻绳例子,来形象理解奇异值分解或特征值分解.

对于翻绳的这个花型而言,是由四只手完成的:
image.png
我们可以认为这个花型是由两个方向的力合成的:
image.png
容易想象,如果其中一个力(相比另外一个力而言)比较小的话,那么绳子的形状基本上由大的那个力来决定:
image.png

类比于翻绳,我们可以认为:

  • 特征值分解,就是把矩阵分成多个"分力"
  • 特征向量,就是各个"分力"
  • 特征值,就是各个"分力"的大小

一个矩阵Aw方向上的"分力"大小,等于该分力方向上的特征值\lambda:

Aw=\lambda w

从线性变换的角度也可以推导出上诉性质,当对向量w进行线性变换A后,向量w的方向没有改变,仅大小发生了变化,这时w称为A特征向量:

Aw=\lambda w

特征值分解

我们可以把矩阵A的所有特征值找出来:

W = [w_1,w_2,w_3,w_4]

从而可得:

AW = [Aw_1,Aw_2,Aw_3,Aw_4] = [w_1,w_2,w_3,w_4]
\begin{bmatrix} \lambda_1&0&0&0\\0&\lambda_2&0&0\\0&0&\lambda_3&0\\0&0&0&\lambda_4\end{bmatrix}

令:

\Lambda = \begin{bmatrix}\lambda_1&0&0&0\\0&\lambda_2&0&0\\0&0&\lambda_3&0\\0&0&0&\lambda_4\end{bmatrix}

则有:

AW = W\Lambda

即:

A= W\Lambda W^{-1}

可以清楚的看到W是所有的特征向量,而\Lambda的对角线上是所有的特征值.

对于实对称矩阵,特征向量都可以正交单位化而得到一组正交且模为 1 的向量,即W^TW=I或者W^T=W^{-1},也就是说W为酉矩阵。

这样我们的特征分解表达式可以写成:

A=W\Sigma W^T

值得一提的是,因为\Lambda必须为方阵,所以矩阵A必须是方阵.也就是说只有方阵才可以特征值分解.

奇异值分解

只有方阵才可以特征值分解,但是如果A是非方阵,但是还想计算特征值该怎么办?

假设A是一个m \times n的矩阵,如果我们将A和A的转置做矩阵乘法,那么会得到m\times m的一个方阵AA^T,且AA^T是实对称矩阵,那么我们就可以进行特征分解:

AA^T= V\Sigma^2 V^T

设:

U^TU=I, \Sigma^T\Sigma=\Sigma^2

所以:

AA^T = V\Sigma^2V^T = V\Sigma^T U^TU\Sigma V^T

从上式可得:

A=U\Sigma V^T

其中U是一个m\times m的矩阵,\Sigma是一个m\times n的矩阵,除了主对角线上的元素以外全为0,主对角线上的每个元素都称为奇异值,V是一个n\times n的矩阵。UV都是酉矩阵,即满足U^TU=I,V^TV=I

进一步我们还可以看出,A的右特征向量与AA^T的特征向量相等,A的左特征向量与A^TA的特征向量相等.

奇异值分解的应用

奇异值分解常用于图片压缩,降维等领域,主要原理就是找到各"分力"的方向,忽略"分力"较小的纬度.从而达到降维和压缩的目的.


参考:
https://www.zhihu.com/question/49959130
https://www.zhihu.com/question/22237507/answer/225371236
https://www.cnblogs.com/pinard/p/6251584.html

posted @ 2018-12-16 14:15:13
评论加载中...

发表评论