Conditional Extremum

条件极值

设$U\subset {\mathbb{R}}^n$为开集，$f:U\to \mathbb{R}$是可微函数，$\Phi :U\to {\mathbb{R}}^m$是$C^k(k\ge 1)$映射. 记

$$\Sigma ={\Phi }^{-1}(0)=\left\{x\in U|\Phi (x)=0\right\}$$

则$f$在$\Sigma$上的极值称为条件极值，方程$\Phi (x)=0$称为约束条件

如果对于任意$x\in \Sigma$，矩阵$J\Phi (x)$的秩均为$m$，则称$\Sigma$上的点满足$m$个独立的约束条件. 此时利用隐映射定理，知$\Sigma$是${\mathbb{R}}^n$中$n-m$维隐式曲面，且$\Sigma$在$x$处的法空间由$\left\{\nabla {\phi }_1(x),\dots ,\nabla {\phi }_m(x)\right\}$张成，其中${\phi }_i$是$\Phi$的第$i$个分量（因为$\Sigma$实际上表示了$\Phi$的一个等值面，故$\Sigma$的切平面必然和$\Phi$的每一个分量的梯度垂直），特别地，如果$x^0\in \Sigma$为$f$的极值点，则$\nabla f(x^0)$必为$\Sigma$在$x^0$处的法向量.

事实上，设$\gamma (t)$是$\Sigma$上的可微函数曲线，$\gamma (0)=x^0$，则$t=0$是$f\circ \gamma (t)$的极值点，从而是驻点

$$(f\circ \gamma {)}^{\prime }(0)=0⟺\nabla f(x^0)\cdot {\gamma }^{\prime }(0)=0$$

注意到${\gamma }^{\prime }(0)$为$\Sigma$在$x^0$处的切向量，由$\gamma$的任意性得到$\nabla f(x^0)$为$\Sigma$在$x^0$处的法向量，因此存在${\lambda }_1,\dots ,{\lambda }_m\in \mathbb{R}$使得

$$\nabla f(x^0)=\sum _{i=1}^m{\lambda }_i\nabla {\phi }_i(x^0)$$

其中$\left\{{\lambda }_i\right\}$称为Lagrange乘数

Lagrange乘数法

设$f,\Phi$如上述定义，$x^0\in \Sigma$为$f$的条件极值点. 如果$\mathrm{rank}J\Phi (x^0)=m$，则存在$\lambda \in {\mathbb{R}}^m$使得

$$\nabla f(x^0)-\lambda \cdot J\Phi (x^0)=0$$

在实际应用中，上式常被解释为，如果$x^0$为极值点，则$(x^0,\lambda )$为辅助函数

$$\mathcal{L}(x,\lambda )=f(x)-\sum _{i=1}^m{\lambda }_i\cdot {\phi }_i(x)$$

的驻点