Least Squares Method

设$A\in {\mathbb{R}}^{m\times n},\mathbf{b}\in {\mathbb{R}}^m,\mathbf{x}=(x_1,\dots ,x_n)$, 考虑线性方程组

$$A\mathbf{x}=\mathbf{b}$$

设$\mathbf{b}$在$V_c(A)=⟨A^{(1)},\dots ,A^{(n)}⟩$中的正交投影是$\mathbf{v}={\alpha }_1{\vec{A}}^{(1)}+\cdots +{\alpha }_n{\vec{A}}^{(n)}$, 则

$$({\alpha }_1,\dots ,{\alpha }_n{)}^t$$

称为该线性方程组的一个最小平方解

注意到该线性方程组有解当且仅当$\mathbf{b}\in V_c(A)$, 故此时每个最小平方解都是原方程的解, 反之亦然. 而当原方程组无解时, 最小平方解总是存在的, 当$A$列满秩时, 最小平方解是唯一的