基本概念
- 对称矩阵：\(\mathbf{A}=[a_{ij}]_{n\times n}\)，\(\forall i,j\) 有\(a_{ij}=a_{ji}\)。
- 对角矩阵：主对角元外的元素均为零。
- 纯量矩阵：对角元均相等的对角矩阵。
- 单位矩阵：对角元为\(1\)的纯量矩阵。记为\(\mathbf{I}_{n}\)。
- 三角矩阵：主对角线上方或者下方只有零元素的矩阵。若零元素在对角线上方，则称之为下三角矩阵。
矩阵代数的基本运算
一、矩阵相等
\(\mathbf{A}=\mathbf{B}\)，当且仅当 \(\mathbf{A}\)与\(\mathbf{B}\)的维数相同，且对应的元素相同。
二、矩阵转置
\(\mathbf{A}=[a_{ij}]_{m\times n}\)，则\(\mathbf{A}^{\prime}=[a_{ji}]_{n\times m}\)。显然，如果矩阵\(\mathbf{A}\)对称，则\(\mathbf{A}=\mathbf{A}^{\prime}\)。
三、矩阵加法
\(\mathbf{A}=[a_{ij}]_{m\times n}\)，\(\mathbf{B}=[b_{ji}]_{m\times n}\)，则 \(\mathbf{C}=\mathbf{A}+\mathbf{B}=[a_{ij}+b_{ij}]_{m\times n}\)。
注:
- 只有矩阵阶数相同时，才可以定义加法。
- 零矩阵\(\bf 0\)，\(\mathbf{A}+\bf 0=\mathbf{A}\)。
- 减法：\(\mathbf{A}-\mathbf{B}=[a_{ij}-b_{ij}]_{m\times n}\)。
四、数乘
\begin{align*}c\mathbf{A}=[ca_{ij}]_{m\times n}\end{align*}
五、矩阵乘法
- 两个向量的内积和外积：设两个\(n\)维向量\(\mathbf{a}_{n\times 1}\)，\(\mathbf{b}_{n\times 1}\)；\(\mathbf{a}\)和\(\mathbf{b}\)维数相同。
- 内积：
\begin{align*}\mathbf{a}^{\prime}\mathbf{b}=a_{1}b_{1}+a_{2}b_{2}+\cdots+a_{n}b_{n}\end{align*}
- 外积：
\begin{align*}\mathbf{a}\mathbf{b}^{\prime}=\left (
\begin{array}{cccc}
a_{1}b_{1}&a_{1}b_{2}&\cdots&a_{1}b_{n} \\
a_{2}b_{1}&a_{2}b_{2}&\cdots&a_{2}b_{n} \\
\vdots&\vdots&\ddots&\vdots\\
a_{n}b_{1}&a_{n}b_{2}&\cdots&a_{n}b_{n}
\end{array} \right) \end{align*}
为一个矩阵。
- 两个矩阵的相乘： 设\(\mathbf{A}_{m\times n}\)，\(\mathbf{B}_{n\times k}\)，则\(\mathbf{C}=\mathbf{A}\mathbf{B}\)，\(\mathbf{C}\)为\(m\)行\(n\)列的。记
\begin{align*} \mathbf{A}= \left( \begin{array}{c} \mathbf{a}^1 \\ \mathbf{a}^2 \\ \vdots \\ \mathbf{a}^m \end{array}\right)
=\left( \begin{array}{cccc} \mathbf{a}_1 & \mathbf{a}_2 & \cdots & \mathbf{a}_n \end{array}\right)
\end{align*}\begin{align*} \mathbf{B}= \left( \begin{array}{c} \mathbf{b}^1 \\ \mathbf{b}^2 \\ \vdots \\ \mathbf{b}^n \end{array}\right) = \left( \begin{array}{cccc} \mathbf{b}_1 & \mathbf{b}_2 & \cdots & \mathbf{b}_k \end{array}\right)
\end{align*}
则
\begin{align*}
\mathbf{C}&=[c_{ij}]_{m\times k}=[\mathbf{a}^i \mathbf{b}_j]_{m\times k} \\
& =[a_{i1}b_{1j}+a_{i2}b_{2j}+\cdots+a_{in}b_{nj}]_{m\times k}
\end{align*}
\begin{align*}\mathbf{C}=\sum^n_{i=1}\mathbf{a}_i\mathbf{b}^i=\sum^n_{i=1} \left (
\begin{array}{cccc}
a_{1i}b_{i1}&a_{1i}b_{i2}&\cdots&a_{1i}b_{ik} \\
a_{2i}b_{i1}&a_{2i}b_{i2}&\cdots&a_{2i}b_{ik} \\
\vdots&\vdots&\ddots&\vdots\\
a_{ni}b_{i1}&a_{ni}b_{i2}&\cdots&a_{ni}b_{ik}
\end{array} \right)
\end{align*}
注:
- 矩阵相乘可以写成内积形式也可以写成外积形式。
- 乘积矩阵\(\mathbf{A}\mathbf{B}\)的第\(ij\)个元素等于\(\mathbf{A}\)的第\(i\)行与\(\mathbf{B}\)的第\(j\)列对应元素的乘积之和，因此只有当\(\mathbf{A}\)的列数等于\(\mathbf{B}\)的行数时，\(\mathbf{A}\)和\(\mathbf{B}\)才可以相乘。
- 矩阵乘法不满足交换律：\(\mathbf{A}\mathbf{B}\neq \mathbf{B}\mathbf{A}\)。
- 矩阵和向量相乘：\(\mathbf{c}=\mathbf{A}\mathbf{b}\)，\(\mathbf{A}_{m\times n}\)，\(\mathbf{b}_{n\times 1}\)；\(\mathbf{c}\)为\(m\times 1\) 的列向量。一般的，有
\begin{align*}\mathbf{c}=\mathbf{A}\mathbf{b}=(\mathbf{a}_1, \mathbf{a}_2, \cdots, \mathbf{a}_n) \left( \begin{array}{c} b_1 \\b_2 \\ \vdots \\b_n \end{array} \right)=b_1\mathbf{a}_1+b_2\mathbf{a}_2+\cdots+b_n\mathbf{a}_n\end{align*}
对矩阵乘积，就有
\begin{align*}
\mathbf{C}=\mathbf{A}\mathbf{B} \Longleftrightarrow (\mathbf{c}_1, \cdots, \mathbf{c}_k)&=\mathbf{A}(\mathbf{b}_1, \cdots, \mathbf{b}_k)\\
&=(\mathbf{A}\mathbf{b}_1, \mathbf{A}\mathbf{b}_2, \cdots, \mathbf{A}\mathbf{b}_k) \end{align*}\begin{align*}
\mathbf{A}\mathbf{b}_k=\mathbf{c}_k=\mathbf{A}\mathbf{b}_k&=(\mathbf{a}_1, \mathbf{a}_2, \cdots, \mathbf{a}_n) \left( \begin{array}{c} b_{1k} \\b_{2k} \\ \vdots \\b_{nk} \end{array} \right)\\
&=b_{1k}\mathbf{a}_1+b_{2k}\mathbf{a}_2+\cdots+b_{nk}\mathbf{a}_n\end{align*}
于是乘积矩阵的每一列都是\(\mathbf{A}\)的各列的线性组合。
矩阵乘法规则
- 结合律：\((\mathbf{A}\mathbf{B})\mathbf{C}=\mathbf{A}(\mathbf{B}\mathbf{C})\)
- 分配率：\(\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{A}\mathbf{B}+\mathbf{A}\mathbf{C}\)
- 矩阵乘积的转置：\((\mathbf{A}\mathbf{B})^{\prime}=\mathbf{B}^{\prime}\mathbf{A}^{\prime}\)
六、数值的和：Sum of values
记向量\(\mathbf{i}\)为元素全为\(1\)的列向量，
\begin{align*}
\mathbf{X}_{n\times 1}=(x_1,x_2,\cdots,x_n)^{\prime}
\end{align*}\begin{align*}
\mathbf{Y}_{n\times 1}=(y_1,y_2,\cdots,y_n)^{\prime}
\end{align*}
则
\begin{align*}\sum^{n}_{i=1}x_i=x_1+x_2+\cdots+x_n=\mathbf{i}^{\prime}\mathbf{X}=n\overline{x}\end{align*}\begin{align*}\sum^n_{i=1}x^2_i=\mathbf{X}^{\prime}\mathbf{X}\end{align*}\begin{align*}\sum^n_{i=1}x_iy_i=\mathbf{X}^{\prime}\mathbf{Y}\end{align*}
七、幂等矩阵：Idempotent Matrix
幂等矩阵\(\mathbf{M}\)：\(\mathbf{M}^2=\mathbf{M}\)；若\(\mathbf{M}\)对称，则\(\mathbf{M}^{\prime}\mathbf{M}=\mathbf{M}\)。 记
\begin{align*}
\mathbf{X}=\left( \begin{array}{c} x_{1} \\x_{2} \\ \vdots \\x_{n} \end{array} \right),\quad
\mathbf{i}=\left( \begin{array}{c} 1 \\1\\ \vdots \\1 \end{array} \right)
\end{align*}\begin{align*}
\sum^n_{i=1}(x_i-\overline{x})&=\mathbf{i}^{\prime}(\mathbf{X}-\mathbf{i}\overline{x})
=\mathbf{i}^{\prime} \left(\mathbf{X}-\mathbf{i}\left[\frac{1}{n}\mathbf{i}^{\prime}\mathbf{X}\right] \right)\\
&=\mathbf{i}^{\prime} \left(\mathbf{X}-\frac{1}{n}(\mathbf{i}\mathbf{i}^{\prime})\mathbf{X} \right)=\mathbf{i}^{\prime}\mathbf{M}_0\mathbf{X}
\end{align*}
其中，
\begin{align*}
\mathbf{M}_0=\left[\mathbf{I}-\frac{1}{n}\mathbf{i}\mathbf{i}^{\prime}\right]
\end{align*}
\(\mathbf{M}_0\)对称、幂等。
\begin{align*}
\mathbf{M}_0\mathbf{X}=(x_1-\overline{x}, \cdots, x_n-\overline{x})^{\prime} \end{align*}
\(\mathbf{M}_0\mathbf{i}=\mathbf{0}\)，\(\mathbf{i}^{\prime}\mathbf{M}_0=\mathbf{0}\)。 因此
\begin{align*}\sum^{n}_{i=1}(x_i-\overline{x})=\mathbf{i}^{\prime}(\mathbf{X}-\mathbf{i}\overline{x})=\mathbf{i}^{\prime}\mathbf{M}_0\mathbf{X}=\mathbf{0}
\end{align*}
平方和：
\begin{align*}\sum^n_{i=1}(x_i-\overline{x})^2&=(\mathbf{X}-\mathbf{i}\overline{x})^{\prime}(\mathbf{X}-\mathbf{i}\overline{x})
=(\mathbf{M}_0\mathbf{X})^{\prime}(\mathbf{M}_0\mathbf{X})\\
&=\mathbf{X}^{\prime}\mathbf{M}_0\mathbf{X}
\end{align*}
矩阵的秩、迹、行列式
一、矩阵的秩：Rank of a Matrix
矩阵\(\mathbf{A}\)的行秩=\(\mathbf{A}\)的行向量组中最大无关组的个数=\(\mathbf{A}>\)的列秩=\(\mathbf{A}\)的列向量组中最大无关组的个数=\(\mathbf{A}\)的秩=\(\mathbf{A}\)中非零子式的最大阶数。
设\(\mathbf{A}_{m\times n}\)，\(\mathbf{B}_{n\times k}\)。几个有关的结论：
- \(\mathbf{A}\)的秩等于\(\mathbf{A}^{\prime}\)的秩。
- \(0\leq R(\mathbf{A})\leq min(m,n)\)。
- \(R(\mathbf{A}\mathbf{B})\leq min(R(\mathbf{A}),R(\mathbf{B}))\)。
- 对\(\mathbf{A}_{m\times n}\)，左乘（或者右乘）某一满秩方阵\(\mathbf{C}_{m\times m}\)，若\(R(\mathbf{C})=m\)，则 \(R(\mathbf{C}\mathbf{A})=R(\mathbf{A})\)。
证明： 由于
\begin{align*}
R(\mathbf{C}\mathbf{A})\leq R(\mathbf{A}),\quad R(\mathbf{A})=R(\mathbf{C}^{-1}\mathbf{C}\mathbf{A})\leq R(\mathbf{C}\mathbf{A})
\end{align*}
则
\begin{align*}R(\mathbf{C}\mathbf{A})=R(\mathbf{A})\end{align*}
- \(\forall \mathbf{A}_{m\times n}\)，\(R(\mathbf{A})=R(\mathbf{A}\mathbf{A}^{\prime})=R(\mathbf{A}^{\prime}\mathbf{A})\)。
二、矩阵的迹：Trace of a Matrix
方阵\(\mathbf{A}_{n\times n}\)，\(\mathbf{A}\)的迹：\(trace(\mathbf{A})=\sum^{n}_{i=1}a_{ii}\)。
- \(tr(\mathbf{A}\pm \mathbf{B})=tr(\mathbf{A})\pm tr(\mathbf{B})\)
- \(tr(\mathbf{A})=tr(\mathbf{A}^{\prime})\)
- \(k \times tr(\mathbf{A})=tr(k\mathbf{A})\)
- \(tr(\mathbf{I}_n)=n\)
- 对\(\mathbf{A}_{n\times m}\)、\(\mathbf{B}_{m\times n}\)，有: \(tr(\mathbf{A}\mathbf{B})=tr(\mathbf{A})tr(\mathbf{B})\)。 证明： 记\(\mathbf{C}=\mathbf{A}\mathbf{B}\)，则
\begin{align*}
c_{ii}=\mathbf{a}^i\mathbf{b}_i \Longrightarrow tr(\mathbf{A}\mathbf{B})=\sum^{n}_{i=1}\mathbf{a}^i\mathbf{b}_i=
\sum^{n}_{i=1}\sum^{m}_{j=1}a_{ij}b_{ji}
\end{align*}
记\(\mathbf{D}=\mathbf{B}\mathbf{A}\)，则
\begin{align*}
d_{jj}=\mathbf{b}^j\mathbf{a}_j \Longrightarrow tr(\mathbf{B}\mathbf{A})=\sum^{m}_{j=1}\mathbf{b}^j\mathbf{a}_j =
\sum^{m}_{j=1}\sum^{n}_{i=1}b_{ji}a_{ij}
\end{align*}
于是，
\begin{align*}
tr(\mathbf{A}\mathbf{B})=tr(\mathbf{A})tr(\mathbf{B})
\end{align*}
- 对\(\mathbf{A}_{m\times n}\)，有
\begin{align*}
tr(\mathbf{A}\mathbf{A}^{\prime})=tr(\mathbf{A}^{\prime}\mathbf{A})=
\sum^{n}_{i=1}\sum^{m}_{j=1}a_{ij}^2\end{align*}
三、行列式：Determinant of a Matrix
方阵\(\mathbf{A}\)的行列式\(|\mathbf{A}|\)定义为：\(|\mathbf{A}|\)等于所有取自不同行不同列的\(n\)个元素的乘积。 记\(\tau (j_1,j_2\cdots j_n)\)为排列\(j_1,j_2\cdots j_n\)的逆序数。即
\(|\mathbf{A}|=\sum (-1)^{\tau (j_1j_2\cdots j_n)}a_{1j_1}a_{2j_2}\cdots a_{nj_n}\)。
- 行列式的拉普拉斯展开定理：
\begin{align*}
|\mathbf{A}|=\sum^{n}_{i=1}a_{ij}(-1)^{i+j}|\mathbf{A}_{ij}|
\end{align*}
\(|\mathbf{A}_{ij}|\)为 \(\mathbf{A}\)去掉元素\(a_{ij}\)所在的第\(i\)行与第\(j\)列后剩余的元素构成的\(n-1\)阶方阵的行列式。
- 行列式的乘法定理：\(\mathbf{A}_{n\times n}\)，\(\mathbf{B}_{n\times n}\)；则\(|\mathbf{A}\mathbf{B}|=|\mathbf{A}||\mathbf{B}|\)。
- 如果\(A\)是正定的，那么\(A\)所有的特征值都是正的，如果\(A\) 是半正定的，那么 \(A\)所有的特征值都是非负的，并且\(A\)正的特征值的数目等于\(A\)的秩。
逆矩阵
已知\(\mathbf{A}_{n\times n}\)，若存在\(\mathbf{B}_{n \times n}\)，使得\(\mathbf{A}\mathbf{B}=\mathbf{B}\mathbf{A}=\mathbf{I}\)，则\(\mathbf{A}\)可逆，且\(\mathbf{A}^{-1}=\mathbf{B}\)。
- 若\(\mathbf{A}\)可逆，则其逆矩阵唯一。
- 对\[\mathbf{A}=\left (
\begin{array}{cc}
a_{11}&a_{12}\\
a_{21}&a_{22}
\end{array} \right) \] 可以得到：
\begin{align*}\mathbf{A}^{-1}=\frac{1}{|\mathbf{A}|}\left (
\begin{array}{cc}
a_{22}&-a_{12}\\
-a_{21}&a_{11}
\end{array} \right) \end{align*}
- 计算逆矩阵的伴随矩阵公式：
\begin{align*}\mathbf{A}^{-1}=\frac{1}{|\mathbf{A}|}\mathbf{A}^{*}
\end{align*}
其中\(\mathbf{A}^*\)为\(\mathbf{A}\)的伴随矩阵：
\begin{align*}\mathbf{A}^*=\left( ( -1)^{i+j}|\mathbf{A}_{ij}| \right) \end{align*}
- 只有行列式不为零的方阵才可逆。若\(|\mathbf{A}|\neq 0\)，则称\(\mathbf{A}\)为非奇异的。
- 与逆矩阵有关的一些计算公式：
\begin{align*}|\mathbf{A}^{-1}|=\frac{1}{|\mathbf{A}|},\quad
(\mathbf{A}^{-1})^{-1}=\mathbf{A},\quad (\mathbf{A}^{-1})^{\prime}=(\mathbf{A}^{\prime})^{-1}
\end{align*}
若\(\mathbf{A}\)对称，则\(\mathbf{A}^{-1}\)也对称；若\(\mathbf{A}^{-1}\)、\(\mathbf{B}^{-1}\)存在，则
\begin{align*}
(\mathbf{A}\mathbf{B})^{-1}=\mathbf{B}^{-1}\mathbf{A}^{-1}
\end{align*}
分块矩阵：Partitioned Matrix
在利用矩阵进行运算时，往往将矩阵的元素分组；比如：
\begin{align*}\mathbf{A}= \left[ \begin{array}{cc|c}
1& 4& 5\\ 2& 9& 3 \\ \hline 8& 9&6\end{array}\right] = \left[ \begin{array}{c|c} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \hline \mathbf{A}_{21} &\mathbf{A}_{22} \end{array}\right] \end{align*}
如果
\begin{align*}\mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} &\mathbf{0} \\ \mathbf{0} & \mathbf{A}_{22} \end{array}\right] \end{align*}
则为分块对角矩阵，其中 \(\mathbf{A_{11}}\) 和 \(\mathbf{A_{22}}\) 为方阵。
一、分块矩阵的加法和乘法
\begin{align*}\mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{A}_{21} &\mathbf{A}_{22} \end{array}\right];\quad \mathbf{B}= \left[ \begin{array}{cc} \mathbf{B}_{11} & \mathbf{B}_{12} \\ \mathbf{B}_{21} &\mathbf{B}_{22} \end{array}\right]\end{align*}
则
\begin{align*}\mathbf{A+B}= \left[ \begin{array}{cc} \mathbf{A}_{11}+\mathbf{B}_{11} & \mathbf{A}_{12} +\mathbf{B}_{12} \\ \mathbf{A}_{21}+\mathbf{B}_{21} &\mathbf{A}_{22} +\mathbf{B}_{22} \end{array}\right]\end{align*}\begin{align*}\mathbf{AB}= \left[ \begin{array}{cc} \mathbf{A}_{11}\mathbf{B}_{11} +\mathbf{A}_{12}\mathbf{B}_{21} & \mathbf{A}_{11} \mathbf{B}_{12}+\mathbf{A}_{12}\mathbf{B}_{22} \\ \mathbf{A}_{21}\mathbf{B}_{11} +\mathbf{A}_{22}\mathbf{B}_{21} &\mathbf{A}_{22} \mathbf{B}_{12} +\mathbf{A}_{22} \mathbf{B}_{22} \end{array}\right]\end{align*}
二、分块矩阵的行列式
设
\begin{align*}\mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{A}_{21} &\mathbf{A}_{22} \end{array}\right];\quad \mathbf{A}_{11}, \mathbf{A}_{22}\textrm{为可逆方阵} \end{align*}
则有
\begin{align*} | \mathbf{A} | =|\mathbf{A}_{11} | | \mathbf{A}_{22}-\mathbf{A}_{21}\mathbf{A}_{11}^{-1}\mathbf{A}_{12} | = |\mathbf{A}_{22} | | \mathbf{A}_{11}-\mathbf{A}_{12}\mathbf{A}_{22}^{-1}\mathbf{A}_{21} | \end{align*}
特别的， \(\mathbf{A_{11}}\) 和 \(\mathbf{A_{22}}\) 为可逆方阵，
\begin{align*}\textrm{如果}\quad \mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{0}&\mathbf{A}_{22} \end{array}\right]; \quad | \mathbf{A} | = \mathbf{A}_{11} \mathbf{A}_{22} \end{align*}\begin{align*}\textrm{如果} \quad \mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{0} \\ \mathbf{A}_{12}&\mathbf{A}_{22} \end{array}\right]; \quad | \mathbf{A} | = \mathbf{A}_{11} \mathbf{A}_{22} \end{align*}\begin{align*}\textrm{如果} \quad \mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{0} \\ \mathbf{0}&\mathbf{A}_{22} \end{array}\right]; \quad | \mathbf{A} | = \mathbf{A}_{11} \mathbf{A}_{22} \end{align*}
三、分块矩阵的求逆
设
\begin{align*}\mathbf{A}= \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{A}_{21} &\mathbf{A}_{22} \end{array}\right];\quad \mathbf{A}_{11}, \mathbf{A}_{22}\textrm{为可逆方阵} \end{align*}
则有
\begin{align*}\mathbf{A}^{-1}= \left[ \begin{array}{cc} \mathbf{A}_{11}^{-1}( \mathbf{I}+\mathbf{A}_{12}\mathbf{F}_2\mathbf{A}_{21}\mathbf{A}_{11}^{-1} ) & -\mathbf{A}_{11}^{-1}\mathbf{A}_{12}\mathbf{F}_2 \\ -\mathbf{F}_2\mathbf{A}_{21}\mathbf{A}_{11}^{-1} & \mathbf{F}_2 \end{array}\right] \end{align*}
其中\[\mathbf{F}_2= ( \mathbf{A}_{22}- \mathbf{A}_{21} \mathbf{A}_{11}^{-1} \mathbf{A}_{12} )^{-1} \]同样，可以定义\[\mathbf{F}_1= ( \mathbf{A}_{11}- \mathbf{A}_{12} \mathbf{A}_{22}^{-1} \mathbf{A}_{21} )^{-1}\]，逆矩阵的左上角块为\(\mathbf{F}_1\)。
证明： 设
\begin{align*}\mathbf{B}= \left[ \begin{array}{cc} \mathbf{B}_{11} & \mathbf{B}_{12} \\ \mathbf{B}_{21} &\mathbf{B}_{22} \end{array}\right];\quad \textrm{满足} \mathbf{A}\mathbf{B}= \left[ \begin{array}{cc} \mathbf{I}_{11} &\mathbf{0}\\ \mathbf{0} & \mathbf{I}_{22} \end{array}\right] \end{align*}
从而得到矩阵方程：
\begin{align*}
&\mathbf{A}_{11}\mathbf{B}_{11} +\mathbf{A}_{12}\mathbf{B}_{21} =\mathbf{I}_{11}; \quad \mathbf{A}_{11} \mathbf{B}_{12}+\mathbf{A}_{12}\mathbf{B}_{22}=\mathbf{0} \\
& \mathbf{A}_{21}\mathbf{B}_{11} +\mathbf{A}_{22}\mathbf{B}_{21}=\mathbf{0};\qquad \mathbf{A}_{22} \mathbf{B}_{12} +\mathbf{A}_{22} \mathbf{B}_{22} =\mathbf{I}_{22}
\end{align*}
可以求得逆矩阵
\(\mathbf{B}\)。
证毕。 特别的，
\begin{align*} \left[ \begin{array}{cc} \mathbf{A}_{11} & \mathbf{0} \\ \mathbf{0}&\mathbf{A}_{22} \end{array}\right]^{-1}=\left[ \begin{array}{cc} \mathbf{A}_{11}^{-1} & \mathbf{0} \\ \mathbf{0}&\mathbf{A}_{22}^{-1} \end{array}\right] \end{align*}
特征根与特征向量
对于方阵\(\mathbf{A}\)，存在一个数\(\lambda\)和一个非零向量\(\mathbf{X}_{n\times 1}\)，满足\(\mathbf{AX}=\lambda\mathbf{X}\)。则\(\lambda\)和\(\mathbf{X}\)分别称为\(\mathbf{A}\)的特征根和特征向量。
一、特征方程
由
\(\mathbf{AX}=\lambda\mathbf{X}\)，得到
\begin{align*}\mathbf{AX}-\lambda\mathbf{IX}=\mathbf{0}\Longleftrightarrow
(\mathbf{A}-\lambda\mathbf{I})\mathbf{X}=\mathbf{0} \end{align*}
仅当\(|\mathbf{A}-\lambda\mathbf{I}|=0\)时，\(\mathbf{X}\)才有非零解。
对方阵\(\mathbf{A}\)，\(\lambda\)的\(n\)次方程
\begin{align*}|\lambda\mathbf{I}-\mathbf{A}|=0 \end{align*}
称之为方阵\(\mathbf{A}\)的特征方程。\(\lambda\)是方阵\(\mathbf{A}\)的特征根，也可以称作\(\lambda\)是方阵\(\mathbf{A}\)的特征方程的根。
定理 设方阵
\(\mathbf{A}\)的特征根为
\(\lambda_1, \lambda_2, \cdots, \lambda_n\)；则
\begin{align*}|\mathbf{A}|=\prod_{i=1}^{n}\lambda_i;\quad tr(\mathbf{A})=\sum_{i=1}^{n}\lambda_i\end{align*}
二、正交矩阵
对方阵\(\mathbf{A}\)，若满足
\begin{align*} \mathbf{A}^{\prime}\mathbf{A} =\mathbf{I}\end{align*}
则称\(\mathbf{A}\)为正交矩阵。
记
\begin{align*}\mathbf{A}= \left( \begin{array}{cccc} \mathbf{a}_1 & \mathbf{a}_2 &\cdots&\mathbf{a}_n \end{array}\right) \end{align*}
如果
\(\mathbf{A}\)正交，则
\begin{align*}\mathbf{A}^{\prime}\mathbf{A}= \left( \begin{array}{cccc}
\mathbf{a}_1^{\prime}\mathbf{a}_1 & \mathbf{a}_1^{\prime}\mathbf{a}_2 &\cdots &\mathbf{a}_1^{\prime}\mathbf{a}_n \\
\mathbf{a}_2^{\prime}\mathbf{a}_1 & \mathbf{a}_2^{\prime}\mathbf{a}_2 &\cdots &\mathbf{a}_2^{\prime}\mathbf{a}_n \\
\vdots & \vdots & \ddots & \vdots \\
\mathbf{a}_n^{\prime}\mathbf{a}_1 & \mathbf{a}_n^{\prime}\mathbf{a}_2 &\cdots &\mathbf{a}_n^{\prime}\mathbf{a}_n
\end{array}\right) = \left( \begin{array}{cccc} 1&0&\cdots &0 \\
0&1&\cdots &0 \\ \vdots & \vdots & \ddots & \vdots \\ 0& 0&\cdots & 1 \end{array}\right) \end{align*}
于是，有
\begin{align*}\mathbf{a}_i^{\prime}\mathbf{a}_j= \left\{ \begin{array}{ll} 1 & \qquad i =j \\ 0 &\qquad i\neq j \end{array} \right. \end{align*}
- 方阵\(\mathbf{A}\)正交，则\(|\mathbf{A}|=\pm 1\)；
- 方阵\(\mathbf{A}\textrm{正交}\Longleftrightarrow \mathbf{A}^{\prime}=\mathbf{A}^{-1}\)；
- 方阵\(\mathbf{A}\textrm{正交}\Longleftrightarrow \mathbf{A}^{-1}\textrm{也正交}\)。
三、对角化与谱分解
由特征方程求得特征根之后，可以由
\(\mathbf{Ac}=\lambda\mathbf{c}\)导出特征向量。即
\begin{align*}( \mathbf{A}-\lambda\mathbf{I} )\mathbf{c}=\mathbf{0}\end{align*}
如果\(\mathbf{c}\)是对应于\(\lambda\)的特征向量，则\(k\mathbf{c}\)（\(k\neq 0\)）也是对应于\(\lambda\)的特征向量。
如果\(\mathbf{A}_{n\times n}\)为实对称方阵，则对应于\(\mathbf{A}\)的\(n\)个特征根（允许重根和零根）的\(n\)个特征向量是正交的。
证明： 记
\(\mathbf{A}_{n\times n}\)的特征根和相应的特征向量为：
\begin{align*} \lambda_1, \lambda_2, \cdots, \lambda_n;\quad \mathbf{c}_1, \mathbf{c}_2, \cdots, \mathbf{c}_n \end{align*}
则有
\begin{align*}\mathbf{A}\mathbf{c}_i=\lambda_i\mathbf{c}_i, \quad i=1, 2, \cdots, n\end{align*}
令
\(\mathbf{c}_i\)已经标准化，记
\begin{align*}\mathbf{C} = \left( \begin{array}{cccc} \mathbf{c}_1 & \mathbf{c}_2 &\cdots &\mathbf{c}_n \end{array}\right) , \quad \Lambda= \left( \begin{array}{cccc} \lambda_1&\lambda_2& \cdots & \lambda_n \end{array}\right) \end{align*}
则有
\begin{align*}\mathbf{AC}=\mathbf{C}\Lambda \Longrightarrow \mathbf{C}^{-1}\mathbf{AC}=\Lambda \end{align*}
\(\mathbf{C}\)为正交矩阵。 证毕。
实对称矩阵可以正交的对角化: \(\mathbf{A}\)对称，总存在正交矩阵\(\mathbf{C}\)，使得\(\mathbf{C}^{\prime}\mathbf{AC}=\Lambda\)。 事实上，\(\Lambda\)的对角元即为\(\mathbf{A}\)的特征值；\(\mathbf{C}\)的各列为其相应的特征向量。
谱分解 \(\mathbf{A}\)对称，由\(\mathbf{AC}=\mathbf{C}\Lambda\)，得
\begin{align*} \mathbf{A}= \mathbf{C}\Lambda\mathbf{C}^{\prime}
=\sum_{k=1}^{n}\lambda_k\mathbf{c}_k\mathbf{c}_k^{\prime} \end{align*}
则\(\mathbf{A}= \mathbf{C}\Lambda\mathbf{C}^{\prime}\)称为\(\mathbf{A}\)的谱分解。
实对称矩阵的性质：
- \(tr( \mathbf{C}^{\prime} \mathbf{A}\mathbf{C} )=tr( \mathbf{A}\mathbf{C} \mathbf{C}^{\prime} )=tr( \mathbf{A} )=tr(\Lambda)\)；
- \(| \mathbf{C}^{\prime} \mathbf{A}\mathbf{C} | = | \mathbf{C}^{\prime} |\times |\mathbf{A}|\times |\mathbf{C} | =| \mathbf{C}^{\prime} |\times |\mathbf{C} | \times |\mathbf{A}|=| \mathbf{C}^{\prime} \mathbf{C} | \times |\mathbf{A}|=|\mathbf{A}|=|\Lambda|\)；
- \(R(\mathbf{A})=R(\Lambda)\)，由\(\Lambda= \mathbf{C}^{\prime} \mathbf{A}\mathbf{C}\)可以立刻得到。
四、方阵的幂运算
若
\(\mathbf{A}_{n\times n}\)对称，则
\(\mathbf{A}= \mathbf{C}\Lambda \mathbf{C}^{\prime}\)，而且
\(\mathbf{C}^{\prime} = \mathbf{C}^{-1}\)。对任意正整数
\(k\)，有
\begin{align*}\mathbf{A}^k=\mathbf{A}\times \mathbf{A}\times \cdots \times \mathbf{A}= \mathbf{C}\Lambda^k \mathbf{C}^{\prime}\end{align*}
显然，如果\(\mathbf{A}\)的特征根为\(\lambda_1, \lambda_2, \cdots, \lambda_n\)，则\(\mathbf{A}^k\)的特征根为\(\lambda_1^k, \lambda_2^k, \cdots, \lambda_n^k\)。
与方阵的幂有关的结论：
- 如果\(\mathbf{A}\)为非奇异的对称矩阵，则\(\mathbf{A}^{-1}=\mathbf{C}\Lambda^{-1} \mathbf{C}^{\prime}\)；
- 如果\(\mathbf{A}\)对称，而且其\(n\)个特征根均严格为正，则任意实数\(r\)，有
\begin{align*}\mathbf{A}^r=\mathbf{C}\Lambda ^r \mathbf{C}^{\prime} \end{align*}
- 设\(\mathbf{A}\)为对称幂等的矩阵，则
- \(\mathbf{A}\)的特征根为\(0\)或者\(1\)；
- \(\mathbf{I}-\mathbf{A}\)也是对称、幂等的；
- 若\(\mathbf{A}\)有\(k\)个根为\(0\)，\(n-k\)个根为\(1\)；则$ - \(有\)n-k$个根为\(1\)，\(k\)个根为\(0\)；
- \(tr(\mathbf{A} )=R(\mathbf{A})\)，\(tr( \mathbf{I}-\mathbf{A} )=R( \mathbf{I}-\mathbf{A})\)。
二次型与正定矩阵
一、二次型
形如
\begin{align*}q=\sum_{i=1}^{n}\sum_{j=1}^{n}x_i x_i a_{ij}\end{align*}
形式的求和，这就是。记
\begin{align*}\mathbf{A}= \left( \begin{array}{cccc} a_{11} & a_{12} & \cdots &a_{1n}
\\ a_{21} & a_{22} & \cdots &a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\a_{n1} & a_{n2} & \cdots &a_{nn} \end{array}\right) ,\quad \mathbf{X}=
\left( \begin{array}{c}x_1 \\ x_2 \\ \vdots \\x_n \end{array}\right) \end{align*}
其中，
\(a_{ij}=a_{ji}\)，即
\(\mathbf{A}\)为对称矩阵，则
\begin{align*}q=\mathbf{X}^{\prime}\mathbf{A}\mathbf{X}\end{align*}
一般来说，\(q\)可正、可负，也可以为零，这依赖于\(\mathbf{A}\)和\(\mathbf{X}\)。
二、正定矩阵
对称矩阵\(\mathbf{A}_{n\times n}\)，任意向量\(\mathbf{X}_{n\times 1}\neq \mathbf{0}\)； 如果\(\mathbf{X}^{\prime}\mathbf{A}\mathbf{X} > 0 (<0)\)，则\(\mathbf{A}\)正（负）定； 如果\(\mathbf{X}^{\prime}\mathbf{A}\mathbf{X} \geq 0 (\leq 0)\)，则\(\mathbf{A}\)非负（正）定或者半正（负）定的。
正定矩阵有关的结论：如果\(\mathbf{A}\)对称，则
- \(\mathbf{A}\)的所有特征根为正（负）\(\Longleftrightarrow \mathbf{A}\)是正（负）定的；
- 若\(\mathbf{A}\)非负定，则\(| \mathbf{A}| \geq 0\)；
- \(\mathbf{A}\)正定\(\Longrightarrow \mathbf{A}^{-1}\)正定；
- 单位矩阵\(\mathbf{I}\)是正定矩阵；
- \(\mathbf{X}_{n\times K}, n\geq K\)，若\(\mathbf{X}\)列满秩，则\(\mathbf{X}^{\prime}\mathbf{X}\)正定；\(\mathbf{X}\mathbf{X}^{\prime}\)非负定；
- \(\mathbf{A}\)正定，\(\mathbf{B}\)非奇异，则\(\mathbf{B}^{\prime}\mathbf{A}\mathbf{B}\)正定；
- 若\(\mathbf{A}\)为对阵幂等矩阵，则\(\mathbf{A}\)非负定（\(\mathbf{A}\)所有的特征根均为\(0\)或者\(1\)）。
三、矩阵比较
若\(\mathbf{A}\)与\(\mathbf{B}\)阶数相同而且均对称，若 \(\mathbf{A}-\mathbf{B}\)正定，则\(\mathbf{A} > \mathbf{B}\)。 易知，如果\(\mathbf{A} > \mathbf{B}\)，对任意\(\mathbf{X}_{n\times 1} \neq \mathbf{0}\)，有
\begin{align*}\mathbf{X}^{\prime} \mathbf{A} \mathbf{X}-\mathbf{X}^{\prime} \mathbf{B} \mathbf{X} >0 \end{align*}
如果\(\mathbf{A}\)正定，\(\mathbf{B}\)非负定，则\(\mathbf{A}+\mathbf{B}\geq \mathbf{A}\)； 如果\(\mathbf{A}> \mathbf{B}\)，且\(\mathbf{A}\)与\(\mathbf{B}\)均可逆，则\(\mathbf{B}^{-1}> \mathbf{A}^{-1}\)。
微分与矩阵代数
一、泰勒近似
如果\(f(x)\)有直到\(n\)阶的连续导数，则\(f(x)\)在\(x_0\)的泰勒展开为：
\begin{align*}
f(x)&=f(x_0)+f^{\prime}(x_0)(x-x_0)+\frac{f^{\prime\prime}(x_0)}{2!}(x-x_0)^2
+\cdots \\
&+\frac{f^{n}(x_0)}{n!}(x-x_0)^n+o\big( (x-x_0)^n \big)
\end{align*}
线性近似：
\begin{align*}
f(x)&\approx f(x_0)+f^{\prime}(x_0)(x-x_0) =(f(x_0)-f^{\prime}(x_0)x_0)
+f^{\prime}(x_0)x \\
&=\beta_1+\beta_2 x
\end{align*}
二阶近似：
\begin{align*}
f(x)&\approx f(x_0)+f^{\prime}(x_0)(x-x_0) +\frac{f^{\prime\prime}(x_0)}{2!}
(x-x_0)^2\\
&= \left[ f(x_0)-f^{\prime}(x_0)x_0+\frac{1}{2} f^{\prime\prime}(x_0) x_0^2\right] +\left[ f^{\prime}(x_0)- f^{\prime\prime}(x_0) x_0 \right]x +\frac{1}{2} f^{\prime\prime}(x_0) x^2\\
&=\beta_1+\beta_2 x+\beta_3x^2
\end{align*}
二、多元函数的泰勒近似
对多元函数
\(y=f(\mathbf{X})\)，其中
\(\mathbf{X}= \left( \begin{array}{cccc}x_1 & x_2 &\cdots &x_r \end{array}\right)^{\prime}\)为列向量。
\begin{align*}
\textrm{梯度向量：} \frac{\partial f(\mathbf{X}) }{ \partial \mathbf{X} }
= \left( \begin{array}{c} \frac{ \partial y }{\partial x_1} \\ \frac{ \partial y }{\partial x_2} \\ \vdots \\ \frac{ \partial y }{\partial x_r } \end{array}\right)
\end{align*}
二阶微商矩阵（海塞矩阵）为：
\begin{align*}
\mathbf{H}= \left( \begin{array}{cccc}
\frac{ \partial^2 y }{\partial x_1^2 } & \frac{ \partial^2 y }{\partial x_1x_2 } & \cdots & \frac{ \partial^2 y }{\partial x_1x_r } \\
\frac{ \partial^2 y }{\partial x_2 x_1} & \frac{ \partial^2 y }{\partial x_2^2 } & \cdots &\frac{ \partial^2 y }{\partial x_2x_r }\\
\vdots & \vdots &\ddots & \vdots \\
\frac{ \partial^2 y }{\partial x_r x_1} & \frac{ \partial^2 y }{\partial x_rx_2 } & \cdots & \frac{ \partial^2 y }{\partial x_r^2 }
\end{array}\right)
\end{align*}
\(\mathbf{H}\)是一个对称的方阵，其每一行和每一列都是梯度向量关于某一变量的微分：
\begin{align*}
\mathbf{H}= \left( \begin{array}{cccc}
\frac{ \partial\left[ \frac{\partial y }{ \partial \mathbf{X} } \right] }{ \partial x_1} &\frac{ \partial\left[ \frac{\partial y }{ \partial \mathbf{X} } \right] }{ \partial x_2} & \cdots &\frac{ \partial\left[ \frac{\partial y }{ \partial \mathbf{X} } \right] }{ \partial x_r} \end{array}\right)
=\frac{ \partial\left[ \frac{\partial y }{ \partial \mathbf{X} } \right] }{ \partial \mathbf{X}^{\prime}}
=\frac{\partial^2 y }{ \partial \mathbf{X} \partial \mathbf{X}^{\prime}}
\end{align*}
一阶（线性）近似：
\begin{align*}
y&\approx f(\mathbf{X}^0) +\left[ \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\right]^{\prime} ( \mathbf{X} -\mathbf{X} ^0 ) \\
&= f(\mathbf{X}^0) -\left[ \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\right]^{\prime} \mathbf{X} ^0 + \left[ \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\right]^{\prime} \mathbf{X} \\
&=\beta_1 +{\beta}_2^{\prime} \mathbf{X}
\end{align*}
二阶近似：
\begin{align*}
y&\approx f(\mathbf{X}^0) +\left[ \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\right]^{\prime} ( \mathbf{X} -\mathbf{X} ^0 )
+\frac{1}{2}( \mathbf{X} -\mathbf{X} ^0 )^{\prime} \mathbf{H}^0 ( \mathbf{X} -\mathbf{X} ^0 ) \\
&=f^0+\mathbf{g}^{0\prime} ( \mathbf{X} -\mathbf{X} ^0 ) + \frac{1}{2}( \mathbf{X} -\mathbf{X} ^0 )^{\prime} \mathbf{H}^0 ( \mathbf{X} -\mathbf{X} ^0 ) \\
&=\left[ f^0- \mathbf{g}^{0\prime} \mathbf{X} ^0 + \frac{1}{2}\mathbf{X} ^{0 \prime} \mathbf{H}^0 \mathbf{X} ^0\right]+\left[ \mathbf{g}^0- \mathbf{H}^0 \mathbf{X} ^0 \right]^{\prime} \mathbf{X} +\frac{1}{2}\mathbf{X} ^{\prime} \mathbf{H}^0 \mathbf{X} \\
&=\beta_1 +{\beta}_2^{\prime} \mathbf{X}+\frac{1}{2}\mathbf{X} ^{\prime} \mathbf{H}^0 \mathbf{X}
\end{align*}
其中，\(f^0=f(\mathbf{X}^0)\)，\(\mathbf{g}^{0}= \frac{\partial f(\mathbf{X} ) }{ \partial \mathbf{X} }\Big|_{ \mathbf{X} ^0 }\)。
三、线性函数、二次型以及行列式的微商
- \(y=\mathbf{a}\mathbf{X}\)，其中
\begin{align*}\mathbf{a}= \left( \begin{array}{c}a_1 \\ a_2 \\ \vdots \\ a_n \end{array}\right),\quad \mathbf{X}= \left( \begin{array}{c}x_1 \\ x_2 \\ \vdots \\ x_n \end{array}\right),\quad \end{align*}
则
\begin{align*} \frac{\partial y}{ \partial \mathbf{X}} =\frac{ \partial \sum_{i=1}^{n}a_ix_i }{\partial \mathbf{X} } = \left( \begin{array}{c}a_1 \\ a_2 \\ \vdots \\ a_n \end{array}\right)=\mathbf{a} \end{align*}
\(\mathbf{Y}=\mathbf{A}\mathbf{X}\)，其中
\begin{align*}\mathbf{A}= \left( \begin{array}{cccc} a_{11} & a_{12} & \cdots &a_{1n}
\\ a_{21} & a_{22} & \cdots &a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\a_{n1} & a_{n2} & \cdots &a_{nn} \end{array}\right) ,\quad \mathbf{Y}=\left( \begin{array}{c} \mathbf{y}_1 \\ \mathbf{y}_2 \\ \vdots \\ \mathbf{y}_n \end{array}\right)= \left( \begin{array}{c}\mathbf{a}^1\mathbf{X} \\ \mathbf{a}^2\mathbf{X} \\ \vdots \\ \mathbf{a}^n\mathbf{X} \end{array}\right) \end{align*}
则
\begin{align*}\frac{\partial \mathbf{Y} }{\partial \mathbf{X}^{\prime} } =
\left( \begin{array}{c} \frac{\partial \mathbf{y}_1 }{\partial \mathbf{X}^{\prime} } \\ \frac{\partial \mathbf{y}_2 }{\partial \mathbf{X}^{\prime} } \\ \vdots \\ \frac{\partial \mathbf{y}_n }{\partial \mathbf{X}^{\prime}} \end{array}\right)
=\left( \begin{array}{c}\mathbf{a}^1 \\ \mathbf{a}^2 \\ \vdots \\ \mathbf{a}^n \end{array}\right) =\mathbf{A}\end{align*}
- 考虑二次型$^{} $：
\begin{align*} \frac{ \partial \mathbf{X}^{\prime}\mathbf{A}\mathbf{X} }{ \partial \mathbf{X} }=( \mathbf{A}+\mathbf{A}^{\prime} )\mathbf{X} \stackrel{\mathbf{A}\textrm{对称}}{ = } 2\mathbf{AX} ;\quad \frac{ \partial \mathbf{X}^{\prime}\mathbf{A}\mathbf{X} }{ \partial \mathbf{A} } =\mathbf{X} \mathbf{X}^{\prime} \end{align*}
四、最优化
- 一元函数\(y=f(x)\)的极值： 一阶必要条件（FOC）：
\begin{align*}f^{\prime}(x)=0\end{align*}
二阶充分条件（SOC）：
\begin{align*}f^{\prime\prime}(x)<0\textrm{为最大值点}\end{align*}\begin{align*}f^{\prime\prime}(x)>0\textrm{为最小值点}\end{align*}
- 多元函数\(y=f(\mathbf{X})\)的极值：\(\mathbf{X}= \left( \begin{array}{c} x_1\\x_2 \\ \vdots \\ x_n \end{array}\right)\)， 一阶必要条件（FOC）：
\begin{align*}
\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}=\mathbf{0}
\end{align*}
二阶充分条件（SOC）：
\begin{align*}
\mathbf{H}= \frac{ \partial^2 f(\mathbf{X}) }{ \partial \mathbf{X} \partial \mathbf{X}^{\prime}}
\end{align*}
若\(\mathbf{H}\)负定，则为最大值处；若\(\mathbf{H}\)正定，则为最小值处。
约束最优化
\begin{align*}
&\max f (\mathbf{X}) \\
& Subject\,\, To\, \left\{ \begin{array}{l} C_1( \mathbf{X} ) =0 \\
C_2( \mathbf{X} ) =0 \\ \vdots \\C_J( \mathbf{X} ) =0
\end{array} \right.
\end{align*}
构造拉格朗日函数：
\begin{align*}L= f (\mathbf{X})+\sum_{i=1}^{J}\lambda_j C_j(\mathbf{X}) \end{align*}
一阶条件：
\begin{align*}
&\frac{ \partial L }{ \partial \mathbf{X} }=\frac{ \partial f (\mathbf{X}) }{ \partial \mathbf{X} } +\mathbf{C}^{\prime} {\lambda} =\mathbf{0}\\
&\frac{ \partial L }{ \partial {\lambda}}= \left( \begin{array}{c} C_1( \mathbf{X} ) \\ C_2( \mathbf{X} ) \\ \vdots \\C_J( \mathbf{X} ) \end{array}\right)=\mathbf{0}
\end{align*}
其中
\begin{align*} \mathbf{C}= \left( \begin{array}{c} \frac{ \partial C_1( \mathbf{X} ) }{ \partial \mathbf{X}^{\prime} } \\ \frac{ \partial C_2( \mathbf{X} ) }{ \partial \mathbf{X}^{\prime} } \\ \vdots \\ \frac{ \partial C_J( \mathbf{X} ) }{ \partial \mathbf{X}^{\prime} } \end{array}\right) , \quad {\lambda}= \left( \begin{array}{c} \lambda_1 \\ \lambda_2 \\ \vdots \\ \lambda_J \end{array}\right) \end{align*}
二阶条件：
\begin{align*}\frac{ \partial^2 L }{ \partial \mathbf{X} \partial \mathbf{X} ^{\prime} } \textrm{负定 }\end{align*}
返回课程主页。