线性代数复习之矩阵

最近在看吴恩达的机器学习的课程，里面用到了基础的线性代数的知识，遂把上学时候的东西再拿出来复习一遍，整理成笔记，以备随时查阅。

什么是矩阵

数学上，一个m×n的矩阵是一个由m行（row）n列（column）元素排列成的矩形阵列。矩阵里的元素可以是数字、符号或数学式。以下是一个由6个数字元素构成的2行3列的矩阵:

$
\begin{bmatrix}
3 & 5 & 7 \\
4 & 6 & 9 \\
\end{bmatrix}
$

矩阵的加法

大小相同（行数和列数）相同的矩阵，可以进行加法运算。比如下面的矩阵

$\begin{bmatrix}1 & 2 \\ 3 & 4 \\ \end{bmatrix}$ + $\begin{bmatrix}0&1\\2&3\end{bmatrix}$ = $\begin{bmatrix}1&3\\5&7\end{bmatrix}$

矩阵的加法运算很简单，只需要将矩阵对应位置上的数字相加并放到相应位置即可。

注意：矩阵的加法运算，仅限于行数和列数相同的矩阵进行运算，如果两个矩阵不能满足行数和列数同时相等，那么这两个矩阵不能进行加法运算。

矩阵的减法运算如同加法，只需要将矩阵对应位置上的数字相减即可。

矩阵的乘法

矩阵的乘法，相对于加法运算，稍微复杂点，并不是简单的将相同位置上的数字相乘。

而且，矩阵的乘法要求，和加法也不同。加法要求两个矩阵行和列相等即可，而乘法要求第一个矩阵的列数和第二个矩阵的行数相同才能进行乘法运算。

例如，对于一个 mxn 的矩阵，只能和一个 nxt 的矩阵相乘，最终的结果是一个 mxt 的矩阵：

$\begin{bmatrix}1&3&1\\2&4&2\end{bmatrix}\times\begin{bmatrix}1&2\\2&1\\1&2\end{bmatrix}=\begin{bmatrix}1\times1+3\times2+1\times1&1\times2+3\times1+1\times2\\2\times1+4\times2+2\times1&2\times2+4\times1+2\times2\end{bmatrix}=\begin{bmatrix}8&7\\12&12\end{bmatrix}$

矩阵的乘法要求第一个矩阵的列数和第二个矩阵的行数相等，因此在运算时，第一个矩阵的行的每一个位置的数字和第二个矩阵的列的每一个数字相乘并相加，到得相应位置的数字。

如果不能满足第一个矩阵的列数和第二个矩阵的行数相同，则两个矩阵不能进行乘法运算。

矩阵乘法的特点

从矩阵乘法的定义上来看，要求第一个矩阵的列数和第二个矩阵行数相同，则可以轻松推断出，矩阵的乘法不满足交换率。

矩阵的乘法满足 结合律 和 分配率 。

矩阵的逆

单位矩阵

n阶单位矩阵是一个 nxn 的矩阵，其主对角线元素全为1，其余位置元素全为0.单位矩阵使用 $I_n$ 表示，比如，一个3阶单位矩阵：

$
\begin{bmatrix}
1&0&0\\
0&1&0\\
0&0&1
\end{bmatrix}
$

单位矩阵乘以一个矩阵，其值还是等于这个矩阵，这也是单位矩阵这个名称的由来。$I \times A=A$

矩阵的逆

有了单位矩阵的概念，矩阵的逆的定义就好理解了，矩阵的逆是指与该矩阵相乘结果是单位矩阵的矩阵。对于矩阵 $A$ ，其逆矩阵我们用 $A^{-1}$来表示，即 $A \times A^{-1}=I$

只有正方形矩阵(nxn)才有逆矩阵，但并非一定会有逆矩阵。不存在逆矩阵的矩阵称为 奇异矩阵

矩阵的应用

求解方程式

使用矩阵，我们可以求解一元方程式，比如下面这个方程式：

$
\left\{\begin{matrix}
3x+2y=7 \\
-6x+6y=6
\end{matrix}\right.
$

我们可以使用下面的矩阵进行表示：

$\begin{bmatrix}3 & 2 \\-6 & 6 \end{bmatrix} \times \begin{bmatrix}x\\y\end{bmatrix}=\begin{bmatrix}7\\6\end{bmatrix}$

我们令 $A=\begin{bmatrix} 3 & 2 \\ -6 & 6 \end{bmatrix}$, $b=\begin{bmatrix} x\\y \end{bmatrix}$, $c=\begin{bmatrix} 7\\6 \end{bmatrix}$

那么，$A \times b=c$，要求b我们只需要在两边同时乘以A的逆即可，即 $b=A^{-1} \times c$

经计算可得， $b=\begin{bmatrix} 1\\2 \end{bmatrix}$，即 $x=1,y=2$

对比使用消元法解方程，使用矩阵看起来可能更麻烦复杂，还要计算矩阵的逆，使用矩阵进行解方程，只是一种数学建模，对于多元一次方程，使用矩阵建模，可能比消元法更合适。