矩阵代数基础

一、矩阵相等

$\mathbf{A}=\mathbf{B}$，当且仅当 $\mathbf{A}$与$\mathbf{B}$的维数相同，且对应的元素相同。

二、矩阵转置

$\mathbf{A}=[a_{ij}]_{m\times n}$，则$\mathbf{A}^{\prime}=[a_{ji}]_{n\times m}$。显然，如果矩阵$\mathbf{A}$对称，则$\mathbf{A}=\mathbf{A}^{\prime}$。

三、矩阵加法

$\mathbf{A}=[a_{ij}]_{m\times n}$，$\mathbf{B}=[b_{ji}]_{m\times n}$，则 $\mathbf{C}=\mathbf{A}+\mathbf{B}=[a_{ij}+b_{ij}]_{m\times n}$。

注:

• 只有矩阵阶数相同时，才可以定义加法。
• 零矩阵$\bf 0$，$\mathbf{A}+\bf 0=\mathbf{A}$。
• 减法：$\mathbf{A}-\mathbf{B}=[a_{ij}-b_{ij}]_{m\times n}$。

四、数乘

$$\begin{align*}c\mathbf{A}=[ca_{ij}]_{m\times n}\end{align*}$$

五、矩阵乘法

• 两个向量的内积和外积：设两个$n$维向量$\mathbf{a}_{n\times 1}$，$\mathbf{b}_{n\times 1}$；$\mathbf{a}$和$\mathbf{b}$维数相同。

1. 内积： $$\begin{align*}\mathbf{a}^{\prime}\mathbf{b}=a_{1}b_{1}+a_{2}b_{2}+\cdots+a_{n}b_{n}\end{align*}$$
2. 外积： $$\begin{align*}\mathbf{a}\mathbf{b}^{\prime}=\left ( \begin{array}{cccc} a_{1}b_{1}&a_{1}b_{2}&\cdots&a_{1}b_{n} \\ a_{2}b_{1}&a_{2}b_{2}&\cdots&a_{2}b_{n} \\ \vdots&\vdots&\ddots&\vdots\\ a_{n}b_{1}&a_{n}b_{2}&\cdots&a_{n}b_{n} \end{array} \right) \end{align*}$$

   为一个矩阵。

3. 两个矩阵的相乘： 设$\mathbf{A}_{m\times n}$，$\mathbf{B}_{n\times k}$，则$\mathbf{C}=\mathbf{A}\mathbf{B}$，$\mathbf{C}$为$m$行$n$列的。记 $$\begin{align*} \mathbf{A}= \left( \begin{array}{c} \mathbf{a}^1 \\ \mathbf{a}^2 \\ \vdots \\ \mathbf{a}^m \end{array}\right) =\left( \begin{array}{cccc} \mathbf{a}_1 & \mathbf{a}_2 & \cdots & \mathbf{a}_n \end{array}\right) \end{align*}$$ $$\begin{align*} \mathbf{B}= \left( \begin{array}{c} \mathbf{b}^1 \\ \mathbf{b}^2 \\ \vdots \\ \mathbf{b}^n \end{array}\right) = \left( \begin{array}{cccc} \mathbf{b}_1 & \mathbf{b}_2 & \cdots & \mathbf{b}_k \end{array}\right) \end{align*}$$ 则 $$\begin{align*} \mathbf{C}&=[c_{ij}]_{m\times k}=[\mathbf{a}^i \mathbf{b}_j]_{m\times k} \\ & =[a_{i1}b_{1j}+a_{i2}b_{2j}+\cdots+a_{in}b_{nj}]_{m\times k} \end{align*}$$ $$\begin{align*}\mathbf{C}=\sum^n_{i=1}\mathbf{a}_i\mathbf{b}^i=\sum^n_{i=1} \left ( \begin{array}{cccc} a_{1i}b_{i1}&a_{1i}b_{i2}&\cdots&a_{1i}b_{ik} \\ a_{2i}b_{i1}&a_{2i}b_{i2}&\cdots&a_{2i}b_{ik} \\ \vdots&\vdots&\ddots&\vdots\\ a_{ni}b_{i1}&a_{ni}b_{i2}&\cdots&a_{ni}b_{ik} \end{array} \right) \end{align*}$$

注:

• 矩阵相乘可以写成内积形式也可以写成外积形式。
• 乘积矩阵$\mathbf{A}\mathbf{B}$的第$ij$个元素等于$\mathbf{A}$的第$i$行与$\mathbf{B}$的第$j$列对应元素的乘积之和，因此只有当$\mathbf{A}$的列数等于$\mathbf{B}$的行数时，$\mathbf{A}$和$\mathbf{B}$才可以相乘。
• 矩阵乘法不满足交换律：$\mathbf{A}\mathbf{B}\neq \mathbf{B}\mathbf{A}$。

4. 矩阵和向量相乘：$\mathbf{c}=\mathbf{A}\mathbf{b}$，$\mathbf{A}_{m\times n}$，$\mathbf{b}_{n\times 1}$；$\mathbf{c}$为$m\times 1$ 的列向量。一般的，有 $$\begin{align*}\mathbf{c}=\mathbf{A}\mathbf{b}=(\mathbf{a}_1, \mathbf{a}_2, \cdots, \mathbf{a}_n) \left( \begin{array}{c} b_1 \\b_2 \\ \vdots \\b_n \end{array} \right)=b_1\mathbf{a}_1+b_2\mathbf{a}_2+\cdots+b_n\mathbf{a}_n\end{align*}$$ 对矩阵乘积，就有 $$\begin{align*} \mathbf{C}=\mathbf{A}\mathbf{B} \Longleftrightarrow (\mathbf{c}_1, \cdots, \mathbf{c}_k)&=\mathbf{A}(\mathbf{b}_1, \cdots, \mathbf{b}_k)\\ &=(\mathbf{A}\mathbf{b}_1, \mathbf{A}\mathbf{b}_2, \cdots, \mathbf{A}\mathbf{b}_k) \end{align*}$$ $$\begin{align*} \mathbf{A}\mathbf{b}_k=\mathbf{c}_k=\mathbf{A}\mathbf{b}_k&=(\mathbf{a}_1, \mathbf{a}_2, \cdots, \mathbf{a}_n) \left( \begin{array}{c} b_{1k} \\b_{2k} \\ \vdots \\b_{nk} \end{array} \right)\\ &=b_{1k}\mathbf{a}_1+b_{2k}\mathbf{a}_2+\cdots+b_{nk}\mathbf{a}_n\end{align*}$$

   于是乘积矩阵的每一列都是$\mathbf{A}$的各列的线性组合。

5. 矩阵乘法规则

• 结合律：$(\mathbf{A}\mathbf{B})\mathbf{C}=\mathbf{A}(\mathbf{B}\mathbf{C})$
• 分配率：$\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{A}\mathbf{B}+\mathbf{A}\mathbf{C}$
• 矩阵乘积的转置：$(\mathbf{A}\mathbf{B})^{\prime}=\mathbf{B}^{\prime}\mathbf{A}^{\prime}$

六、数值的和：Sum of values

记向量$\mathbf{i}$为元素全为$1$的列向量， $$\begin{align*} \mathbf{X}_{n\times 1}=(x_1,x_2,\cdots,x_n)^{\prime} \end{align*}$$ $$\begin{align*} \mathbf{Y}_{n\times 1}=(y_1,y_2,\cdots,y_n)^{\prime} \end{align*}$$ 则 $$\begin{align*}\sum^{n}_{i=1}x_i=x_1+x_2+\cdots+x_n=\mathbf{i}^{\prime}\mathbf{X}=n\overline{x}\end{align*}$$ $$\begin{align*}\sum^n_{i=1}x^2_i=\mathbf{X}^{\prime}\mathbf{X}\end{align*}$$ $$\begin{align*}\sum^n_{i=1}x_iy_i=\mathbf{X}^{\prime}\mathbf{Y}\end{align*}$$

七、幂等矩阵：Idempotent Matrix

幂等矩阵$\mathbf{M}$：$\mathbf{M}^2=\mathbf{M}$；若$\mathbf{M}$对称，则$\mathbf{M}^{\prime}\mathbf{M}=\mathbf{M}$。 记 $$\begin{align*} \mathbf{X}=\left( \begin{array}{c} x_{1} \\x_{2} \\ \vdots \\x_{n} \end{array} \right),\quad \mathbf{i}=\left( \begin{array}{c} 1 \\1\\ \vdots \\1 \end{array} \right) \end{align*}$$ $$\begin{align*} \sum^n_{i=1}(x_i-\overline{x})&=\mathbf{i}^{\prime}(\mathbf{X}-\mathbf{i}\overline{x}) =\mathbf{i}^{\prime} \left(\mathbf{X}-\mathbf{i}\left[\frac{1}{n}\mathbf{i}^{\prime}\mathbf{X}\right] \right)\\ &=\mathbf{i}^{\prime} \left(\mathbf{X}-\frac{1}{n}(\mathbf{i}\mathbf{i}^{\prime})\mathbf{X} \right)=\mathbf{i}^{\prime}\mathbf{M}_0\mathbf{X} \end{align*}$$ 其中， $$\begin{align*} \mathbf{M}_0=\left[\mathbf{I}-\frac{1}{n}\mathbf{i}\mathbf{i}^{\prime}\right] \end{align*}$$ $\mathbf{M}_0$对称、幂等。 $$\begin{align*} \mathbf{M}_0\mathbf{X}=(x_1-\overline{x}, \cdots, x_n-\overline{x})^{\prime} \end{align*}$$ $\mathbf{M}_0\mathbf{i}=\mathbf{0}$，$\mathbf{i}^{\prime}\mathbf{M}_0=\mathbf{0}$。 因此 $$\begin{align*}\sum^{n}_{i=1}(x_i-\overline{x})=\mathbf{i}^{\prime}(\mathbf{X}-\mathbf{i}\overline{x})=\mathbf{i}^{\prime}\mathbf{M}_0\mathbf{X}=\mathbf{0} \end{align*}$$ 平方和： $$\begin{align*}\sum^n_{i=1}(x_i-\overline{x})^2&=(\mathbf{X}-\mathbf{i}\overline{x})^{\prime}(\mathbf{X}-\mathbf{i}\overline{x}) =(\mathbf{M}_0\mathbf{X})^{\prime}(\mathbf{M}_0\mathbf{X})\\ &=\mathbf{X}^{\prime}\mathbf{M}_0\mathbf{X} \end{align*}$$

一、矩阵的秩：Rank of a Matrix

矩阵$\mathbf{A}$的行秩=$\mathbf{A}$的行向量组中最大无关组的个数=$\mathbf{A}>$的列秩=$\mathbf{A}$的列向量组中最大无关组的个数=$\mathbf{A}$的秩=$\mathbf{A}$中非零子式的最大阶数。

设$\mathbf{A}_{m\times n}$，$\mathbf{B}_{n\times k}$。几个有关的结论：

1. $\mathbf{A}$的秩等于$\mathbf{A}^{\prime}$的秩。
2. $0\leq R(\mathbf{A})\leq min(m,n)$。
3. $R(\mathbf{A}\mathbf{B})\leq min(R(\mathbf{A}),R(\mathbf{B}))$。
4. 对$\mathbf{A}_{m\times n}$，左乘（或者右乘）某一满秩方阵$\mathbf{C}_{m\times m}$，若$R(\mathbf{C})=m$，则 $R(\mathbf{C}\mathbf{A})=R(\mathbf{A})$。

证明： 由于 $$\begin{align*} R(\mathbf{C}\mathbf{A})\leq R(\mathbf{A}),\quad R(\mathbf{A})=R(\mathbf{C}^{-1}\mathbf{C}\mathbf{A})\leq R(\mathbf{C}\mathbf{A}) \end{align*}$$ 则 $$\begin{align*}R(\mathbf{C}\mathbf{A})=R(\mathbf{A})\end{align*}$$

5. $\forall \mathbf{A}_{m\times n}$，$R(\mathbf{A})=R(\mathbf{A}\mathbf{A}^{\prime})=R(\mathbf{A}^{\prime}\mathbf{A})$。

二、矩阵的迹：Trace of a Matrix

方阵$\mathbf{A}_{n\times n}$，$\mathbf{A}$的迹：$trace(\mathbf{A})=\sum^{n}_{i=1}a_{ii}$。

• $tr(\mathbf{A}\pm \mathbf{B})=tr(\mathbf{A})\pm tr(\mathbf{B})$
• $tr(\mathbf{A})=tr(\mathbf{A}^{\prime})$
• $k \times tr(\mathbf{A})=tr(k\mathbf{A})$
• $tr(\mathbf{I}_n)=n$
• 对$\mathbf{A}_{n\times m}$、$\mathbf{B}_{m\times n}$，有: $tr(\mathbf{A}\mathbf{B})=tr(\mathbf{A})tr(\mathbf{B})$。 证明： 记$\mathbf{C}=\mathbf{A}\mathbf{B}$，则 $$\begin{align*} c_{ii}=\mathbf{a}^i\mathbf{b}_i \Longrightarrow tr(\mathbf{A}\mathbf{B})=\sum^{n}_{i=1}\mathbf{a}^i\mathbf{b}_i= \sum^{n}_{i=1}\sum^{m}_{j=1}a_{ij}b_{ji} \end{align*}$$ 记$\mathbf{D}=\mathbf{B}\mathbf{A}$，则 $$\begin{align*} d_{jj}=\mathbf{b}^j\mathbf{a}_j \Longrightarrow tr(\mathbf{B}\mathbf{A})=\sum^{m}_{j=1}\mathbf{b}^j\mathbf{a}_j = \sum^{m}_{j=1}\sum^{n}_{i=1}b_{ji}a_{ij} \end{align*}$$ 于是， $$\begin{align*} tr(\mathbf{A}\mathbf{B})=tr(\mathbf{A})tr(\mathbf{B}) \end{align*}$$
• 对$\mathbf{A}_{m\times n}$，有 $$\begin{align*} tr(\mathbf{A}\mathbf{A}^{\prime})=tr(\mathbf{A}^{\prime}\mathbf{A})= \sum^{n}_{i=1}\sum^{m}_{j=1}a_{ij}^2\end{align*}$$

三、行列式：Determinant of a Matrix

方阵$\mathbf{A}$的行列式$|\mathbf{A}|$定义为：$|\mathbf{A}|$等于所有取自不同行不同列的$n$个元素的乘积。 记$\tau (j_1,j_2\cdots j_n)$为排列$j_1,j_2\cdots j_n$的逆序数。即

$|\mathbf{A}|=\sum (-1)^{\tau (j_1j_2\cdots j_n)}a_{1j_1}a_{2j_2}\cdots a_{nj_n}$。

• 行列式的拉普拉斯展开定理： $$\begin{align*} |\mathbf{A}|=\sum^{n}_{i=1}a_{ij}(-1)^{i+j}|\mathbf{A}_{ij}| \end{align*}$$ $|\mathbf{A}_{ij}|$为 $\mathbf{A}$去掉元素$a_{ij}$所在的第$i$行与第$j$列后剩余的元素构成的$n-1$阶方阵的行列式。
• 行列式的乘法定理：$\mathbf{A}_{n\times n}$，$\mathbf{B}_{n\times n}$；则$|\mathbf{A}\mathbf{B}|=|\mathbf{A}||\mathbf{B}|$。
• 如果$A$是正定的，那么$A$所有的特征值都是正的，如果$A$ 是半正定的，那么 $A$所有的特征值都是非负的，并且$A$正的特征值的数目等于$A$的秩。

一、分块矩阵的加法和乘法

$$\begin{align*}\mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{A}_{21} &\mathbf{A}_{22} \end{array}\right];\quad \mathbf{B}= \left[ \begin{array}{cc} \mathbf{B}_{11} & \mathbf{B}_{12} \\ \mathbf{B}_{21} &\mathbf{B}_{22} \end{array}\right]\end{align*}$$ 则 $$\begin{align*}\mathbf{A+B}= \left[ \begin{array}{cc} \mathbf{A}_{11}+\mathbf{B}_{11} & \mathbf{A}_{12} +\mathbf{B}_{12} \\ \mathbf{A}_{21}+\mathbf{B}_{21} &\mathbf{A}_{22} +\mathbf{B}_{22} \end{array}\right]\end{align*}$$ $$\begin{align*}\mathbf{AB}= \left[ \begin{array}{cc} \mathbf{A}_{11}\mathbf{B}_{11} +\mathbf{A}_{12}\mathbf{B}_{21} & \mathbf{A}_{11} \mathbf{B}_{12}+\mathbf{A}_{12}\mathbf{B}_{22} \\ \mathbf{A}_{21}\mathbf{B}_{11} +\mathbf{A}_{22}\mathbf{B}_{21} &\mathbf{A}_{22} \mathbf{B}_{12} +\mathbf{A}_{22} \mathbf{B}_{22} \end{array}\right]\end{align*}$$

二、分块矩阵的行列式

设 $$\begin{align*}\mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{A}_{21} &\mathbf{A}_{22} \end{array}\right];\quad \mathbf{A}_{11}, \mathbf{A}_{22}\textrm{为可逆方阵} \end{align*}$$ 则有 $$\begin{align*} | \mathbf{A} | =|\mathbf{A}_{11} | | \mathbf{A}_{22}-\mathbf{A}_{21}\mathbf{A}_{11}^{-1}\mathbf{A}_{12} | = |\mathbf{A}_{22} | | \mathbf{A}_{11}-\mathbf{A}_{12}\mathbf{A}_{22}^{-1}\mathbf{A}_{21} | \end{align*}$$ 特别的， $\mathbf{A_{11}}$ 和 $\mathbf{A_{22}}$ 为可逆方阵， $$\begin{align*}\textrm{如果}\quad \mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{0}&\mathbf{A}_{22} \end{array}\right]; \quad | \mathbf{A} | = \mathbf{A}_{11} \mathbf{A}_{22} \end{align*}$$ $$\begin{align*}\textrm{如果} \quad \mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{0} \\ \mathbf{A}_{12}&\mathbf{A}_{22} \end{array}\right]; \quad | \mathbf{A} | = \mathbf{A}_{11} \mathbf{A}_{22} \end{align*}$$ $$\begin{align*}\textrm{如果} \quad \mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{0} \\ \mathbf{0}&\mathbf{A}_{22} \end{array}\right]; \quad | \mathbf{A} | = \mathbf{A}_{11} \mathbf{A}_{22} \end{align*}$$

三、分块矩阵的求逆

设 $$\begin{align*}\mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{A}_{21} &\mathbf{A}_{22} \end{array}\right];\quad \mathbf{A}_{11}, \mathbf{A}_{22}\textrm{为可逆方阵} \end{align*}$$ 则有 $$\begin{align*}\mathbf{A}^{-1}= \left[ \begin{array}{cc} \mathbf{A}_{11}^{-1}( \mathbf{I}+\mathbf{A}_{12}\mathbf{F}_2\mathbf{A}_{21}\mathbf{A}_{11}^{-1} ) & -\mathbf{A}_{11}^{-1}\mathbf{A}_{12}\mathbf{F}_2 \\ -\mathbf{F}_2\mathbf{A}_{21}\mathbf{A}_{11}^{-1} & \mathbf{F}_2 \end{array}\right] \end{align*}$$

其中 $$\mathbf{F}_2= ( \mathbf{A}_{22}- \mathbf{A}_{21} \mathbf{A}_{11}^{-1} \mathbf{A}_{12} )^{-1}$$ 同样，可以定义 $$\mathbf{F}_1= ( \mathbf{A}_{11}- \mathbf{A}_{12} \mathbf{A}_{22}^{-1} \mathbf{A}_{21} )^{-1}$$ ，逆矩阵的左上角块为$\mathbf{F}_1$。

证明： 设 $$\begin{align*}\mathbf{B}= \left[ \begin{array}{cc} \mathbf{B}_{11} & \mathbf{B}_{12} \\ \mathbf{B}_{21} &\mathbf{B}_{22} \end{array}\right];\quad \textrm{满足} \mathbf{A}\mathbf{B}= \left[ \begin{array}{cc} \mathbf{I}_{11} &\mathbf{0}\\ \mathbf{0} & \mathbf{I}_{22} \end{array}\right] \end{align*}$$ 从而得到矩阵方程： $$\begin{align*} &\mathbf{A}_{11}\mathbf{B}_{11} +\mathbf{A}_{12}\mathbf{B}_{21} =\mathbf{I}_{11}; \quad \mathbf{A}_{11} \mathbf{B}_{12}+\mathbf{A}_{12}\mathbf{B}_{22}=\mathbf{0} \\ & \mathbf{A}_{21}\mathbf{B}_{11} +\mathbf{A}_{22}\mathbf{B}_{21}=\mathbf{0};\qquad \mathbf{A}_{22} \mathbf{B}_{12} +\mathbf{A}_{22} \mathbf{B}_{22} =\mathbf{I}_{22} \end{align*}$$ 可以求得逆矩阵$\mathbf{B}$。 证毕。 特别的， $$\begin{align*} \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{0} \\ \mathbf{0}&\mathbf{A}_{22} \end{array}\right]^{-1}=\left[ \begin{array}{cc} \mathbf{A}_{11}^{-1} & \mathbf{0} \\ \mathbf{0}&\mathbf{A}_{22}^{-1} \end{array}\right] \end{align*}$$

一、特征方程

由$\mathbf{AX}=\lambda\mathbf{X}$，得到 $$\begin{align*}\mathbf{AX}-\lambda\mathbf{IX}=\mathbf{0}\Longleftrightarrow (\mathbf{A}-\lambda\mathbf{I})\mathbf{X}=\mathbf{0} \end{align*}$$

仅当$|\mathbf{A}-\lambda\mathbf{I}|=0$时，$\mathbf{X}$才有非零解。

对方阵$\mathbf{A}$，$\lambda$的$n$次方程 $$\begin{align*}|\lambda\mathbf{I}-\mathbf{A}|=0 \end{align*}$$

称之为方阵$\mathbf{A}$的特征方程。$\lambda$是方阵$\mathbf{A}$的特征根，也可以称作$\lambda$是方阵$\mathbf{A}$的特征方程的根。

定理 设方阵$\mathbf{A}$的特征根为$\lambda_1, \lambda_2, \cdots, \lambda_n$；则 $$\begin{align*}|\mathbf{A}|=\prod_{i=1}^{n}\lambda_i;\quad tr(\mathbf{A})=\sum_{i=1}^{n}\lambda_i\end{align*}$$

二、正交矩阵

对方阵$\mathbf{A}$，若满足 $$\begin{align*} \mathbf{A}^{\prime}\mathbf{A} =\mathbf{I}\end{align*}$$

则称$\mathbf{A}$为正交矩阵。

记 $$\begin{align*}\mathbf{A}= \left( \begin{array}{cccc} \mathbf{a}_1 & \mathbf{a}_2 &\cdots&\mathbf{a}_n \end{array}\right) \end{align*}$$ 如果$\mathbf{A}$正交，则 $$\begin{align*}\mathbf{A}^{\prime}\mathbf{A}= \left( \begin{array}{cccc} \mathbf{a}_1^{\prime}\mathbf{a}_1 & \mathbf{a}_1^{\prime}\mathbf{a}_2 &\cdots &\mathbf{a}_1^{\prime}\mathbf{a}_n \\ \mathbf{a}_2^{\prime}\mathbf{a}_1 & \mathbf{a}_2^{\prime}\mathbf{a}_2 &\cdots &\mathbf{a}_2^{\prime}\mathbf{a}_n \\ \vdots & \vdots & \ddots & \vdots \\ \mathbf{a}_n^{\prime}\mathbf{a}_1 & \mathbf{a}_n^{\prime}\mathbf{a}_2 &\cdots &\mathbf{a}_n^{\prime}\mathbf{a}_n \end{array}\right) = \left( \begin{array}{cccc} 1&0&\cdots &0 \\ 0&1&\cdots &0 \\ \vdots & \vdots & \ddots & \vdots \\ 0& 0&\cdots & 1 \end{array}\right) \end{align*}$$ 于是，有 $$\begin{align*}\mathbf{a}_i^{\prime}\mathbf{a}_j= \left\{ \begin{array}{ll} 1 & \qquad i =j \\ 0 &\qquad i\neq j \end{array} \right. \end{align*}$$

• 方阵$\mathbf{A}$正交，则$|\mathbf{A}|=\pm 1$；
• 方阵$\mathbf{A}\textrm{正交}\Longleftrightarrow \mathbf{A}^{\prime}=\mathbf{A}^{-1}$；
• 方阵$\mathbf{A}\textrm{正交}\Longleftrightarrow \mathbf{A}^{-1}\textrm{也正交}$。

三、对角化与谱分解

由特征方程求得特征根之后，可以由$\mathbf{Ac}=\lambda\mathbf{c}$导出特征向量。即 $$\begin{align*}( \mathbf{A}-\lambda\mathbf{I} )\mathbf{c}=\mathbf{0}\end{align*}$$

如果$\mathbf{c}$是对应于$\lambda$的特征向量，则$k\mathbf{c}$（$k\neq 0$）也是对应于$\lambda$的特征向量。

如果$\mathbf{A}_{n\times n}$为实对称方阵，则对应于$\mathbf{A}$的$n$个特征根（允许重根和零根）的$n$个特征向量是正交的。

证明： 记$\mathbf{A}_{n\times n}$的特征根和相应的特征向量为： $$\begin{align*} \lambda_1, \lambda_2, \cdots, \lambda_n;\quad \mathbf{c}_1, \mathbf{c}_2, \cdots, \mathbf{c}_n \end{align*}$$ 则有 $$\begin{align*}\mathbf{A}\mathbf{c}_i=\lambda_i\mathbf{c}_i, \quad i=1, 2, \cdots, n\end{align*}$$ 令$\mathbf{c}_i$已经标准化，记 $$\begin{align*}\mathbf{C} = \left( \begin{array}{cccc} \mathbf{c}_1 & \mathbf{c}_2 &\cdots &\mathbf{c}_n \end{array}\right) , \quad \Lambda= \left( \begin{array}{cccc} \lambda_1&\lambda_2& \cdots & \lambda_n \end{array}\right) \end{align*}$$ 则有 $$\begin{align*}\mathbf{AC}=\mathbf{C}\Lambda \Longrightarrow \mathbf{C}^{-1}\mathbf{AC}=\Lambda \end{align*}$$

$\mathbf{C}$为正交矩阵。 证毕。

实对称矩阵可以正交的对角化: $\mathbf{A}$对称，总存在正交矩阵$\mathbf{C}$，使得$\mathbf{C}^{\prime}\mathbf{AC}=\Lambda$。 事实上，$\Lambda$的对角元即为$\mathbf{A}$的特征值；$\mathbf{C}$的各列为其相应的特征向量。

谱分解 $\mathbf{A}$对称，由$\mathbf{AC}=\mathbf{C}\Lambda$，得 $$\begin{align*} \mathbf{A}= \mathbf{C}\Lambda\mathbf{C}^{\prime} =\sum_{k=1}^{n}\lambda_k\mathbf{c}_k\mathbf{c}_k^{\prime} \end{align*}$$

则$\mathbf{A}= \mathbf{C}\Lambda\mathbf{C}^{\prime}$称为$\mathbf{A}$的谱分解。

实对称矩阵的性质：

• $tr( \mathbf{C}^{\prime} \mathbf{A}\mathbf{C} )=tr( \mathbf{A}\mathbf{C} \mathbf{C}^{\prime} )=tr( \mathbf{A} )=tr(\Lambda)$；
• $| \mathbf{C}^{\prime} \mathbf{A}\mathbf{C} | = | \mathbf{C}^{\prime} |\times |\mathbf{A}|\times |\mathbf{C} | =| \mathbf{C}^{\prime} |\times |\mathbf{C} | \times |\mathbf{A}|=| \mathbf{C}^{\prime} \mathbf{C} | \times |\mathbf{A}|=|\mathbf{A}|=|\Lambda|$；
• $R(\mathbf{A})=R(\Lambda)$，由$\Lambda= \mathbf{C}^{\prime} \mathbf{A}\mathbf{C}$可以立刻得到。

四、方阵的幂运算

若$\mathbf{A}_{n\times n}$对称，则$\mathbf{A}= \mathbf{C}\Lambda \mathbf{C}^{\prime}$，而且$\mathbf{C}^{\prime} = \mathbf{C}^{-1}$。对任意正整数$k$，有 $$\begin{align*}\mathbf{A}^k=\mathbf{A}\times \mathbf{A}\times \cdots \times \mathbf{A}= \mathbf{C}\Lambda^k \mathbf{C}^{\prime}\end{align*}$$

显然，如果$\mathbf{A}$的特征根为$\lambda_1, \lambda_2, \cdots, \lambda_n$，则$\mathbf{A}^k$的特征根为$\lambda_1^k, \lambda_2^k, \cdots, \lambda_n^k$。

与方阵的幂有关的结论：

• 如果$\mathbf{A}$为非奇异的对称矩阵，则$\mathbf{A}^{-1}=\mathbf{C}\Lambda^{-1} \mathbf{C}^{\prime}$；
• 如果$\mathbf{A}$对称，而且其$n$个特征根均严格为正，则任意实数$r$，有 $$\begin{align*}\mathbf{A}^r=\mathbf{C}\Lambda ^r \mathbf{C}^{\prime} \end{align*}$$
• 设$\mathbf{A}$为对称幂等的矩阵，则

1. $\mathbf{A}$的特征根为$0$或者$1$；
2. $\mathbf{I}-\mathbf{A}$也是对称、幂等的；
3. 若$\mathbf{A}$有$k$个根为$0$，$n-k$个根为$1$；则$ - $有$n-k$个根为$1$，$k$个根为$0$；
4. $tr(\mathbf{A} )=R(\mathbf{A})$，$tr( \mathbf{I}-\mathbf{A} )=R( \mathbf{I}-\mathbf{A})$。

一、二次型

形如 $$\begin{align*}q=\sum_{i=1}^{n}\sum_{j=1}^{n}x_i x_i a_{ij}\end{align*}$$ 形式的求和，这就是。记 $$\begin{align*}\mathbf{A}= \left( \begin{array}{cccc} a_{11} & a_{12} & \cdots &a_{1n} \\ a_{21} & a_{22} & \cdots &a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\a_{n1} & a_{n2} & \cdots &a_{nn} \end{array}\right) ,\quad \mathbf{X}= \left( \begin{array}{c}x_1 \\ x_2 \\ \vdots \\x_n \end{array}\right) \end{align*}$$ 其中，$a_{ij}=a_{ji}$，即$\mathbf{A}$为对称矩阵，则 $$\begin{align*}q=\mathbf{X}^{\prime}\mathbf{A}\mathbf{X}\end{align*}$$

一般来说，$q$可正、可负，也可以为零，这依赖于$\mathbf{A}$和$\mathbf{X}$。

二、正定矩阵

对称矩阵$\mathbf{A}_{n\times n}$，任意向量$\mathbf{X}_{n\times 1}\neq \mathbf{0}$； 如果$\mathbf{X}^{\prime}\mathbf{A}\mathbf{X} > 0 (<0)$，则$\mathbf{A}$正（负）定； 如果$\mathbf{X}^{\prime}\mathbf{A}\mathbf{X} \geq 0 (\leq 0)$，则$\mathbf{A}$非负（正）定或者半正（负）定的。

正定矩阵有关的结论：如果$\mathbf{A}$对称，则

• $\mathbf{A}$的所有特征根为正（负）$\Longleftrightarrow \mathbf{A}$是正（负）定的；
• 若$\mathbf{A}$非负定，则$| \mathbf{A}| \geq 0$；
• $\mathbf{A}$正定$\Longrightarrow \mathbf{A}^{-1}$正定；
• 单位矩阵$\mathbf{I}$是正定矩阵；
• $\mathbf{X}_{n\times K}, n\geq K$，若$\mathbf{X}$列满秩，则$\mathbf{X}^{\prime}\mathbf{X}$正定；$\mathbf{X}\mathbf{X}^{\prime}$非负定；
• $\mathbf{A}$正定，$\mathbf{B}$非奇异，则$\mathbf{B}^{\prime}\mathbf{A}\mathbf{B}$正定；
• 若$\mathbf{A}$为对阵幂等矩阵，则$\mathbf{A}$非负定（$\mathbf{A}$所有的特征根均为$0$或者$1$）。

三、矩阵比较

若$\mathbf{A}$与$\mathbf{B}$阶数相同而且均对称，若 $\mathbf{A}-\mathbf{B}$正定，则$\mathbf{A} > \mathbf{B}$。 易知，如果$\mathbf{A} > \mathbf{B}$，对任意$\mathbf{X}_{n\times 1} \neq \mathbf{0}$，有 $$\begin{align*}\mathbf{X}^{\prime} \mathbf{A} \mathbf{X}-\mathbf{X}^{\prime} \mathbf{B} \mathbf{X} >0 \end{align*}$$

如果$\mathbf{A}$正定，$\mathbf{B}$非负定，则$\mathbf{A}+\mathbf{B}\geq \mathbf{A}$； 如果$\mathbf{A}> \mathbf{B}$，且$\mathbf{A}$与$\mathbf{B}$均可逆，则$\mathbf{B}^{-1}> \mathbf{A}^{-1}$。

一、泰勒近似

如果$f(x)$有直到$n$阶的连续导数，则$f(x)$在$x_0$的泰勒展开为： $$\begin{align*} f(x)&=f(x_0)+f^{\prime}(x_0)(x-x_0)+\frac{f^{\prime\prime}(x_0)}{2!}(x-x_0)^2 +\cdots \\ &+\frac{f^{n}(x_0)}{n!}(x-x_0)^n+o\big( (x-x_0)^n \big) \end{align*}$$ 线性近似： $$\begin{align*} f(x)&\approx f(x_0)+f^{\prime}(x_0)(x-x_0) =(f(x_0)-f^{\prime}(x_0)x_0) +f^{\prime}(x_0)x \\ &=\beta_1+\beta_2 x \end{align*}$$ 二阶近似： $$\begin{align*} f(x)&\approx f(x_0)+f^{\prime}(x_0)(x-x_0) +\frac{f^{\prime\prime}(x_0)}{2!} (x-x_0)^2\\ &= \left[ f(x_0)-f^{\prime}(x_0)x_0+\frac{1}{2} f^{\prime\prime}(x_0) x_0^2\right] +\left[ f^{\prime}(x_0)- f^{\prime\prime}(x_0) x_0 \right]x +\frac{1}{2} f^{\prime\prime}(x_0) x^2\\ &=\beta_1+\beta_2 x+\beta_3x^2 \end{align*}$$

二、多元函数的泰勒近似

对多元函数$y=f(\mathbf{X})$，其中$\mathbf{X}= \left( \begin{array}{cccc}x_1 & x_2 &\cdots &x_r \end{array}\right)^{\prime}$为列向量。 $$\begin{align*} \textrm{梯度向量：} \frac{\partial f(\mathbf{X}) }{ \partial \mathbf{X} } = \left( \begin{array}{c} \frac{ \partial y }{\partial x_1} \\ \frac{ \partial y }{\partial x_2} \\ \vdots \\ \frac{ \partial y }{\partial x_r } \end{array}\right) \end{align*}$$ 二阶微商矩阵（海塞矩阵）为： $$\begin{align*} \mathbf{H}= \left( \begin{array}{cccc} \frac{ \partial^2 y }{\partial x_1^2 } & \frac{ \partial^2 y }{\partial x_1x_2 } & \cdots & \frac{ \partial^2 y }{\partial x_1x_r } \\ \frac{ \partial^2 y }{\partial x_2 x_1} & \frac{ \partial^2 y }{\partial x_2^2 } & \cdots &\frac{ \partial^2 y }{\partial x_2x_r }\\ \vdots & \vdots &\ddots & \vdots \\ \frac{ \partial^2 y }{\partial x_r x_1} & \frac{ \partial^2 y }{\partial x_rx_2 } & \cdots & \frac{ \partial^2 y }{\partial x_r^2 } \end{array}\right) \end{align*}$$ $\mathbf{H}$是一个对称的方阵，其每一行和每一列都是梯度向量关于某一变量的微分： $$\begin{align*} \mathbf{H}= \left( \begin{array}{cccc} \frac{ \partial\left[ \frac{\partial y }{ \partial \mathbf{X} } \right] }{ \partial x_1} &\frac{ \partial\left[ \frac{\partial y }{ \partial \mathbf{X} } \right] }{ \partial x_2} & \cdots &\frac{ \partial\left[ \frac{\partial y }{ \partial \mathbf{X} } \right] }{ \partial x_r} \end{array}\right) =\frac{ \partial\left[ \frac{\partial y }{ \partial \mathbf{X} } \right] }{ \partial \mathbf{X}^{\prime}} =\frac{\partial^2 y }{ \partial \mathbf{X} \partial \mathbf{X}^{\prime}} \end{align*}$$ 一阶（线性）近似： $$\begin{align*} y&\approx f(\mathbf{X}^0) +\left[ \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\right]^{\prime} ( \mathbf{X} -\mathbf{X} ^0 ) \\ &= f(\mathbf{X}^0) -\left[ \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\right]^{\prime} \mathbf{X} ^0 + \left[ \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\right]^{\prime} \mathbf{X} \\ &=\beta_1 +{\beta}_2^{\prime} \mathbf{X} \end{align*}$$ 二阶近似： $$\begin{align*} y&\approx f(\mathbf{X}^0) +\left[ \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\right]^{\prime} ( \mathbf{X} -\mathbf{X} ^0 ) +\frac{1}{2}( \mathbf{X} -\mathbf{X} ^0 )^{\prime} \mathbf{H}^0 ( \mathbf{X} -\mathbf{X} ^0 ) \\ &=f^0+\mathbf{g}^{0\prime} ( \mathbf{X} -\mathbf{X} ^0 ) + \frac{1}{2}( \mathbf{X} -\mathbf{X} ^0 )^{\prime} \mathbf{H}^0 ( \mathbf{X} -\mathbf{X} ^0 ) \\ &=\left[ f^0- \mathbf{g}^{0\prime} \mathbf{X} ^0 + \frac{1}{2}\mathbf{X} ^{0 \prime} \mathbf{H}^0 \mathbf{X} ^0\right]+\left[ \mathbf{g}^0- \mathbf{H}^0 \mathbf{X} ^0 \right]^{\prime} \mathbf{X} +\frac{1}{2}\mathbf{X} ^{\prime} \mathbf{H}^0 \mathbf{X} \\ &=\beta_1 +{\beta}_2^{\prime} \mathbf{X}+\frac{1}{2}\mathbf{X} ^{\prime} \mathbf{H}^0 \mathbf{X} \end{align*}$$

其中，$f^0=f(\mathbf{X}^0)$，$\mathbf{g}^{0}= \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }$。

三、线性函数、二次型以及行列式的微商

• $y=\mathbf{a}\mathbf{X}$，其中 $$\begin{align*}\mathbf{a}= \left( \begin{array}{c}a_1 \\ a_2 \\ \vdots \\ a_n \end{array}\right),\quad \mathbf{X}= \left( \begin{array}{c}x_1 \\ x_2 \\ \vdots \\ x_n \end{array}\right),\quad \end{align*}$$ 则 $$\begin{align*} \frac{\partial y}{ \partial \mathbf{X}} =\frac{ \partial \sum_{i=1}^{n}a_ix_i }{\partial \mathbf{X} } = \left( \begin{array}{c}a_1 \\ a_2 \\ \vdots \\ a_n \end{array}\right)=\mathbf{a} \end{align*}$$ $\mathbf{Y}=\mathbf{A}\mathbf{X}$，其中 $$\begin{align*}\mathbf{A}= \left( \begin{array}{cccc} a_{11} & a_{12} & \cdots &a_{1n} \\ a_{21} & a_{22} & \cdots &a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\a_{n1} & a_{n2} & \cdots &a_{nn} \end{array}\right) ,\quad \mathbf{Y}=\left( \begin{array}{c} \mathbf{y}_1 \\ \mathbf{y}_2 \\ \vdots \\ \mathbf{y}_n \end{array}\right)= \left( \begin{array}{c}\mathbf{a}^1\mathbf{X} \\ \mathbf{a}^2\mathbf{X} \\ \vdots \\ \mathbf{a}^n\mathbf{X} \end{array}\right) \end{align*}$$ 则 $$\begin{align*}\frac{\partial \mathbf{Y} }{\partial \mathbf{X}^{\prime} } = \left( \begin{array}{c} \frac{\partial \mathbf{y}_1 }{\partial \mathbf{X}^{\prime} } \\ \frac{\partial \mathbf{y}_2 }{\partial \mathbf{X}^{\prime} } \\ \vdots \\ \frac{\partial \mathbf{y}_n }{\partial \mathbf{X}^{\prime}} \end{array}\right) =\left( \begin{array}{c}\mathbf{a}^1 \\ \mathbf{a}^2 \\ \vdots \\ \mathbf{a}^n \end{array}\right) =\mathbf{A}\end{align*}$$
• 考虑二次型$^{} $： $$\begin{align*} \frac{ \partial \mathbf{X}^{\prime}\mathbf{A}\mathbf{X} }{ \partial \mathbf{X} }=( \mathbf{A}+\mathbf{A}^{\prime} )\mathbf{X} \stackrel{\mathbf{A}\textrm{对称}}{ = } 2\mathbf{AX} ;\quad \frac{ \partial \mathbf{X}^{\prime}\mathbf{A}\mathbf{X} }{ \partial \mathbf{A} } =\mathbf{X} \mathbf{X}^{\prime} \end{align*}$$

四、最优化

• 一元函数$y=f(x)$的极值： 一阶必要条件（FOC）： $$\begin{align*}f^{\prime}(x)=0\end{align*}$$ 二阶充分条件（SOC）： $$\begin{align*}f^{\prime\prime}(x)<0\textrm{为最大值点}\end{align*}$$ $$\begin{align*}f^{\prime\prime}(x)>0\textrm{为最小值点}\end{align*}$$
• 多元函数$y=f(\mathbf{X})$的极值：$\mathbf{X}= \left( \begin{array}{c} x_1\\x_2 \\ \vdots \\ x_n \end{array}\right)$， 一阶必要条件（FOC）： $$\begin{align*} \frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}=\mathbf{0} \end{align*}$$ 二阶充分条件（SOC）： $$\begin{align*} \mathbf{H}= \frac{ \partial^2 f(\mathbf{X}) }{ \partial \mathbf{X} \partial \mathbf{X}^{\prime}} \end{align*}$$ 若$\mathbf{H}$负定，则为最大值处；若$\mathbf{H}$正定，则为最小值处。

约束最优化

$$\begin{align*} &\max f (\mathbf{X}) \\ & Subject\,\, To\, \left\{ \begin{array}{l} C_1( \mathbf{X} ) =0 \\ C_2( \mathbf{X} ) =0 \\ \vdots \\C_J( \mathbf{X} ) =0 \end{array} \right. \end{align*}$$ 构造拉格朗日函数： $$\begin{align*}L= f (\mathbf{X})+\sum_{i=1}^{J}\lambda_j C_j(\mathbf{X}) \end{align*}$$ 一阶条件： $$\begin{align*} &\frac{ \partial L }{ \partial \mathbf{X} }=\frac{ \partial f (\mathbf{X}) }{ \partial \mathbf{X} } +\mathbf{C}^{\prime} {\lambda} =\mathbf{0}\\ &\frac{ \partial L }{ \partial {\lambda}}= \left( \begin{array}{c} C_1( \mathbf{X} ) \\ C_2( \mathbf{X} ) \\ \vdots \\C_J( \mathbf{X} ) \end{array}\right)=\mathbf{0} \end{align*}$$ 其中 $$\begin{align*} \mathbf{C}= \left( \begin{array}{c} \frac{ \partial C_1( \mathbf{X} ) }{ \partial \mathbf{X}^{\prime} } \\ \frac{ \partial C_2( \mathbf{X} ) }{ \partial \mathbf{X}^{\prime} } \\ \vdots \\ \frac{ \partial C_J( \mathbf{X} ) }{ \partial \mathbf{X}^{\prime} } \end{array}\right) , \quad {\lambda}= \left( \begin{array}{c} \lambda_1 \\ \lambda_2 \\ \vdots \\ \lambda_J \end{array}\right) \end{align*}$$ 二阶条件： $$\begin{align*}\frac{ \partial^2 L }{ \partial \mathbf{X} \partial \mathbf{X} ^{\prime} } \textrm{负定 }\end{align*}$$

返回课程主页。