Euclidean Space

$V$上的内积

内积的定义

设$f(\mathbf{x},\mathbf{y})$是$V$上的对称双线性型满足$f(\mathbf{x},\mathbf{x})$是正定的, 则称$(V,f)$是一个欧式空间, $f$是$V$上的内积

举例

设$V={\mathbb{R}}^n$, 由上述定义, 就有内积$f(\mathbf{x},\mathbf{y})={\mathbf{x}}^t\mathbf{y}$满足$f(\mathbf{x},\mathbf{x})$是正定的, 所以$({\mathbb{R}}^n,f)$是欧式空间

设$V={\mathrm{M}}_n(\mathbb{R})$, 则

$$\begin{array}{rl}f:V\times V& \to \mathbb{R}\\ (X,Y)& \to \mathrm{tr}(X^{t}Y)\end{array}$$

是内积, 因为它满足

• 线性: $f(\alpha A+\beta B,Y)=\mathrm{tr}((\alpha A+\beta B{)}^{t}Y)=\alpha f(A,Y),\beta f(B,Y)$, 且类似地对第二个变元也成立
• 对称性: $f(Y,X)=\mathrm{tr}(Y^{t}X)=\mathrm{tr}(X^{t}Y)=f(X,Y)$
• 正定性: $f(X,X)=\mathrm{tr}{X}^{t}X=\sum _{i,j}{x}_{i,j}^2\ge 0$

设$V=\mathbb{R}[x{]}^{(n)}$, $a,b\in \mathbb{R}$且$a<b$, 则

$$\begin{array}{rl}\varphi :V\times V& \to \mathbb{R}\\ (f,g)& \to {\int }_a^{b}f(x)g(x)\mathrm{d}x\end{array}$$

是$V$的内积

Dirac符号

我们利用Dirac符号, 把欧式空间$V$上的内积记为$|$ ,即

$$\begin{array}{rl}(|):V\times V& \to \mathbb{R}\\ (\mathbf{x},\mathbf{y})& \to (\mathbf{x}|\mathbf{y})\end{array}$$

利用这个符号, 内积的基本性质如下

• 双线性: 对任意的$\mathbf{x},\mathbf{y},\mathbf{x}\in V,\alpha ,\beta \in \mathbb{R}$,

$$(\alpha \mathbf{x}+\beta \mathbf{y}|\mathbf{z})=\alpha (\mathbf{x}|\mathbf{z})+\beta (\mathbf{y}|\mathbf{z}),(\mathbf{x}|\alpha \mathbf{y}+\beta \mathbf{z})=\alpha (\mathbf{x}|\mathbf{y})+\beta (\mathbf{x}|\mathbf{z})$$

• 对称性: 对任意$\mathbf{x},\mathbf{y}\in V,(\mathbf{x}|\mathbf{y})=(\mathbf{y}|\mathbf{x})$
• 正定性: 对任意$\mathbf{x}\in V$

$$(\mathbf{x}|\mathbf{x})\ge 0\text{ 且 }(\mathbf{x}|\mathbf{x})=0⟺\mathbf{x}=0$$

Gram矩阵

设$V$是欧式空间, ${\mathbf{v}}_1,\dots {\mathbf{v}}_m\in V$, 定义

$$G({\mathbf{v}}_1,\dots {\mathbf{v}}_m)=(({\mathbf{v}}_i|{\mathbf{v}}_j){)}_{m\times m}$$

称之为${\mathbf{v}}_1,\dots {\mathbf{v}}_m$的Gram矩阵

由内积的对称性可知Gram矩阵是对称的

由定义, 若${\mathbf{v}}_1,\dots {\mathbf{v}}_m\in V,{\alpha }_1,\dots {\alpha }_m,{\beta }_1,\dots ,{\beta }_m\in \mathbb{R}$, 令

$$\mathbf{x}={\alpha }_1{\mathbf{v}}_1+\cdots +{\alpha }_m{\mathbf{v}}_m,\mathbf{y}={\beta }_1{\mathbf{v}}_1+\cdots +{\beta }_m{\mathbf{v}}_m$$

则有

$$(\mathbf{x}|\mathbf{y})=({\alpha }_1,\dots ,{\alpha }_m)G({\mathbf{v}}_1,\dots ,{\mathbf{v}}_m)\left(\begin{array}{c}{\beta }_1\\ ⋮\\ {\beta }_m\end{array}\right)$$

若$V$是欧式空间, ${\mathbf{v}}_1,\dots ,{\mathbf{v}}_m\in V$. 则${\mathbf{v}}_1,\dots ,{\mathbf{v}}_m$线性相关当且仅当$\mathrm{rank}(G({\mathbf{v}}_1,\dots ,{\mathbf{v}}_m))<m$

进一步, 我们可以知道$G({\mathbf{v}}_1,\dots {\mathbf{v}}_m)$是半正定的, 它是正定的当且仅当${\mathbf{v}}_1,\dots ,{\mathbf{v}}_m$线性无关

Tip

Gram矩阵可以把向量的内积转化为基底的内积

长度、距离、角度和正交

长度和距离

设$V$是欧式空间, $\mathbf{x}\in V$. 称$\sqrt{(\mathbf{x}|\mathbf{x})}$是$\mathbf{x}$的长度, 记为$\Vert \mathbf{x}\Vert$. 再设$\mathbf{y}\in V$. 则$\Vert \mathbf{x}-\mathbf{y}\Vert$称为$\mathbf{x}$到$\mathbf{y}$之间的距离

Cauchy-Bunyakovsky不等式

设$\mathbf{x},\mathbf{y}\in V$, 则

$$\left|(\mathbf{x}|\mathbf{y})\right|\le \Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert$$

特别地$\left|(\mathbf{x}|\mathbf{y})\right|=\Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert$当且仅当$\mathbf{x},\mathbf{y}$线性相关

在${\mathbb{R}}^n$上, 该不等式的形式是

$$\left|x_1{y}_1+\cdots +x_n{y}_n\right|\le \sqrt{x_1^2+\cdots +x_n^2}\sqrt{y_1^2+\cdots +y_n^2}$$

在${\mathrm{M}}_n(\mathbb{R})$上, 该不等式的形式是

$$\left|\mathrm{tr}(A^{t}B)\right|\le \sqrt{\mathrm{tr}(A^{t}A)}\sqrt{\mathrm{tr}(B^{t}B)}$$

在$\mathbb{R}[x{]}^{(n)}$上, 该不等式的形式是

$$\left|{\int }_a^{b}f(x)g(x)\mathrm{d}x\right|\le \sqrt{{\int }_a^b{f}^2(x)\mathrm{d}x}\sqrt{{\int }_a^b{g}^2(x)\mathrm{d}x}$$

设$\mathbf{x},\mathbf{y}\in V$, 且存在$\alpha \in \mathbb{R}$使得$\mathbf{x}=\alpha \mathbf{y}$或者$\mathbf{y}=\alpha \mathbf{x}$, 则称$\mathbf{x},\mathbf{y}$平行. 如果$\alpha \ge 0$, 则称$\mathbf{x},\mathbf{y}$同向. 如果$\alpha \le 0$, 则称$\mathbf{x},\mathbf{y}$反向, 有时候也称$0$是迷向的

由此, 我们得到Cauchy不等式的等价命题三角不等式

设$\mathbf{x},\mathbf{y}\in V$. 则$\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$. 等式成立当且仅当$\mathbf{x},\mathbf{y}$同向

夹角

设$\mathbf{x},\mathbf{y}\in V\backslash \left\{0\right\}$, 称

$$\arccos \left(\frac{(\mathbf{x}|\mathbf{y})}{\Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert }\right)$$

是$\mathbf{x},\mathbf{y}$的夹角, 其通常的取值范围为$[0,\pi ]$

正交

设$\mathbf{x},\mathbf{y}\in V$. 如果$(\mathbf{x}|\mathbf{y})=0$, 则称$\mathbf{x}$和$\mathbf{y}$正交, 记为$\mathbf{x}\perp \mathbf{y}$

设$\mathbf{x},{\mathbf{x}}_1,\dots ,{\mathbf{x}}_k\in V$,其中${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$非零, 则

• $\mathbf{x}\perp \mathbf{x}⟺\mathbf{x}=0$
• 如果${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$两两正交, 则它们线性无关

勾股定理

设$\mathbf{x},\mathbf{y}\in V$, 则$\mathbf{x}\perp \mathbf{y}$当且仅当

$$\Vert \mathbf{x}+\mathbf{y}{\Vert }^2=\Vert \mathbf{x}{\Vert }^2+\Vert \mathbf{y}{\Vert }^2$$

单位正交基

设$\dim (V)=n,{\mathbf{e}}_1,\dots ,{\mathbf{e}}_n$是$V$中两两正交的单位向量, 则称它们为$V$的一组单位正交基

Gram-Schmidt正交化

设${\mathbf{v}}_1,\dots ,{\mathbf{v}}_k\in V$线性无关, 则存在两两正交的单位向量${\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_k$使得

$$⟨{\mathbf{v}}_1,\dots ,{\mathbf{v}}_i⟩=⟨{\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_i⟩$$

其中$i=1,2,\dots ,k$. 特别地, $V$有单位正交基

可以利用如下递推式构造${\mathbf{ϵ}}_i$,

$${\mathbf{ϵ}}_i^{\prime }={\mathbf{v}}_i-({\mathbf{v}}_i|{\mathbf{ϵ}}_1){\mathbf{ϵ}}_1-\cdots -({\mathbf{v}}_i|{\mathbf{ϵ}}_{i-1}){\mathbf{ϵ}}_{i-1}⟹{\mathbf{ϵ}}_i=\frac{{\mathbf{ϵ}}_i^{\prime }}{\Vert {\mathbf{ϵ}}_i^{\prime }\Vert }$$

例如要求$U=⟨{\mathbf{u}}_1,{\mathbf{u}}_2,{\mathbf{u}}_3⟩$是${\mathbb{R}}^4$的子空间的一组正交单位基, 其中

$${\mathbf{u}}_1=\left(\begin{array}{c}1\\ 0\\ 1\\ 0\end{array}\right),{\mathbf{u}}_2=\left(\begin{array}{c}0\\ -1\\ 1\\ -1\end{array}\right),{\mathbf{u}}_3=\left(\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right)$$

则可由Gram-Schmidt正交化得

$$\begin{array}{c}{\mathbf{ϵ}}_1=\frac{{\mathbf{u}}_1}{\Vert {\mathbf{u}}_1\Vert }=\frac{1}{\sqrt{2}}{\mathbf{u}}_1\\ {\mathbf{ϵ}}_2^{\prime }={\mathbf{u}}_2-({\mathbf{u}}_2|{\mathbf{ϵ}}_1){\mathbf{ϵ}}_1=\left(\begin{array}{c}-\frac{1}{2}\\ -1\\ \frac{1}{2}\\ -1\end{array}\right)\\ {\mathbf{ϵ}}_2=\frac{{\mathbf{ϵ}}_2^{\prime }}{\Vert {\mathbf{ϵ}}_2^{\prime }\Vert }=\frac{1}{\sqrt{10}}\left(\begin{array}{c}-1\\ -2\\ 1\\ -2\end{array}\right)\\ {\mathbf{ϵ}}_3^{\prime }={\mathbf{u}}_3-({\mathbf{u}}_3|{\mathbf{ϵ}}_1){\mathbf{ϵ}}_1-({\mathbf{u}}_3|{\mathbf{ϵ}}_2){\mathbf{ϵ}}_2=\frac{1}{5}\left(\begin{array}{c}-2\\ 1\\ 2\\ 1\end{array}\right)\\ {\mathbf{ϵ}}_3=\frac{{\mathbf{ϵ}}_3^{\prime }}{\Vert {\mathbf{ϵ}}_3^{\prime }\Vert }=\frac{1}{\sqrt{10}}\left(\begin{array}{c}-2\\ 1\\ 2\\ 1\end{array}\right)\end{array}$$

正交基的性质

内积的形式

设$V$的一组单位正交基是${\mathbf{e}}_1,\dots ,{\mathbf{e}}_n,\mathbf{x},\mathbf{y}\in V$在这组基下的坐标分别是$(x_1,\dots ,x_n{)}^t$和$(y_1,\dots ,y_n{)}^t$, 则有

$$(\mathbf{x}|\mathbf{y})=x_1{y}_1+\cdots +x_n{y}_n$$

内积取坐标分量

设$V$的一组单位正交基是${\mathbf{e}}_1,\dots ,{\mathbf{e}}_n,\mathbf{x}\in V$. 则$\mathbf{x}$在该基下的第$i$个坐标分量为$(\mathbf{x}|{\mathbf{e}}_i)$, $i=1,2,\dots ,n$

维数相等的欧式空间线性同构且保持内积不变

设$V,W$是两个$n$-维欧式空间, 其中的内积分别记为$(|{)}_V$和$(|{)}_W$, 则存在线性同构$\varphi :V\to W$满足对任意$\mathbf{x},\mathbf{y}\in V$

$$(\mathbf{x}|\mathbf{y}{)}_V=(\varphi (\mathbf{x})|\varphi (\mathbf{y}){)}_W$$

正交投影和正交补

投影

设$\mathbf{v}\in V\backslash \left\{0\right\},\mathbf{x}\in V$,称

$$\left(\mathbf{x}|\frac{\mathbf{v}}{\Vert \mathbf{v}\Vert }\right)\frac{\mathbf{v}}{\Vert \mathbf{v}\Vert }$$

为$\mathbf{x}$在$\mathbf{v}$上的投影

设$\mathbf{v}\in V\backslash \left\{0\right\},\mathbf{x}\in V$, $\mathbf{y}$是$\mathbf{x}$在$\mathbf{v}$上的投影, 则$(\mathbf{v}-\mathbf{y})\perp \mathbf{y}$

正交子空间和正交投影

设$X,Y\subset V$. 如果对任意的$\mathbf{x}\in X$和$\mathbf{y}\in Y$都有$\mathbf{x}\perp \mathbf{y}$, 则称$X$和$Y$正交, 记为$X\perp Y$. 特别地, 当$X=\left\{\mathbf{x}\right\}$时, 则$X\perp Y$也记为$\mathbf{x}\perp Y$

设$U\subset V$是子空间, $\mathbf{x}\in V$, 则存在唯一的$\mathbf{u}\in U$使得$(\mathbf{x}-\mathbf{u})\perp U$, 称这里的$\mathbf{u}$是$\mathbf{x}$在子空间$U$上的正交投影. 特别地, 向量$\mathbf{x}$在$\mathbf{v}\in V\backslash \left\{0\right\}$上的投影就是$\mathbf{x}$在$⟨\mathbf{v}⟩$上的正交投影

我们记$\mathbf{x}$在子空间$U$上的正交投影为${\pi }_U(\mathbf{x})$

距离

在上面的例子中$\mathbf{u}={\pi }_U(\mathbf{x})$, 此时考虑$\forall \mathbf{y}\in U$, 容易证明$\Vert \mathbf{x}-\mathbf{u}\Vert \le \Vert \mathbf{x}-\mathbf{y}\Vert$, 故我们称$\Vert \mathbf{x}-{\pi }_U(\mathbf{x})\Vert$成为$\mathbf{x}$到$W$的距离, 记为$d(\mathbf{x},W)$

正交补

设$U\subset V$是子空间, 令$U^{\perp }:=\left\{\mathbf{x}\in V\mid \mathbf{x}\perp U\right\}$, 则

1. $U^{\perp }$是子空间且$U\perp U^{\perp }$
2. $V=U\oplus U^{\perp }$, 故称$U^{\perp }$是$U$的正交补
3. ${\left(U^{\perp }\right)}^{\perp }=U$, 这是$(2)$的直接推论

由第$(2)$点我们知道, 设${\mathbf{e}}_1,\dots ,{\mathbf{e}}_d$是$V$中的单位正交向量, 则${\mathbf{e}}_1,\dots ,{\mathbf{e}}_d$可以扩充为$V$的一组单位正交基, 比如说, 设标准欧式空间${\mathbb{R}}^3$的标准基为${\mathbf{e}}_1,{\mathbf{e}}_2,{\mathbf{e}}_3$, 则有

$${⟨{\mathbf{e}}_1⟩}^{\perp }=⟨{\mathbf{e}}_2,{\mathbf{e}}_3⟩,{⟨{\mathbf{e}}_1⟩}^{\perp \perp }={⟨{\mathbf{e}}_2,{\mathbf{e}}_3⟩}^{\perp }=⟨{\mathbf{e}}_1⟩$$

正交矩阵与正交等价

正交矩阵

设欧式空间$V$有两组单位正交基${\mathbf{e}}_1,\dots ,{\mathbf{e}}_n$和${\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_n$, 且矩阵$P\in {\mathrm{GL}}_n(\mathbb{R})$满足$({\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_n)=({\mathbf{e}}_1,\dots ,{\mathbf{e}}_n)P$. 则对任意的$i,j\in \left\{1,2,\dots ,n\right\}$, 我们有

$${\delta }_{i,j}=({\mathbf{ϵ}}_i|{\mathbf{ϵ}}_j)=\left(({\mathbf{e}}_1,\dots ,{\mathbf{e}}_n)P^{(i)}|({\mathbf{e}}_1,\dots ,{\mathbf{e}}_n)P^{(j)}\right)=(P^{(i)}{)}^t{P}^{(j)}$$

由此得出$P^{t}P=E$, 进而$P{P}^t=E$

设$P\in {\mathrm{GL}}_n(\mathbb{R})$. 如果$P^t=P^{-1}$, 则称$P$是正交矩阵. 所有$n$阶正交矩阵的集合记为${\mathrm{O}}_n(\mathbb{R})$

集合${\mathrm{O}}_n(\mathbb{R})$是${\mathrm{GL}}_n(\mathbb{R})$的子群

正交矩阵有如下性质

• 如果$P\in {\mathrm{O}}_n(\mathbb{R})$, 则$\det (P)=\pm 1$, 这说明了正交矩阵是一个旋转矩阵或者是一个反射矩阵
• $P\in {\mathrm{O}}_n(\mathbb{R})$当且仅当$P$的列向量是标准欧式空间${\mathbb{R}}^n$中的一组单位正交基
• $P\in {\mathrm{O}}_n(\mathbb{R})$当且仅当$P$的行向量是标准欧式空间${\mathbb{R}}^{1\times n}$中的一组单位正交基

特别地, $P\in {\mathrm{O}}_2(\mathbb{R})$当且仅当存在$\theta$使得

$$P=\left(\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right)\text{ or }P=\left(\begin{array}{cc}\cos \theta & \sin \theta \\ \sin \theta & -\cos \theta \end{array}\right)$$

前面这种行列式为$1$, 代表旋转；后面这种行列式为$-1$, 代表反射

设欧式空间$V$由基${\mathbf{e}}_1,\dots ,{\mathbf{e}}_n$和${\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_n$, 矩阵$P\in {\mathrm{GL}}_n(\mathbb{R})$满足

$$({\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_n)=({\mathbf{e}}_1,\dots ,{\mathbf{e}}_n)P$$

再设${\mathbf{e}}_1,\dots ,{\mathbf{e}}_n$是单位正交基, 则${\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_n$是单位正交基当且仅当$P\in {\mathrm{O}}_n(\mathbb{R})$

正交等价

设$A,B\in {\mathrm{M}}_n(\mathbb{R})$. 如果存在$P\in {\mathrm{O}}_n(\mathbb{R})$使得$B=P^{-1}AP$, 则称$A$与$B$正交等价（或正交相似）, 记为$A{\sim }_{o}B$

可以验证, ${\sim }_o$是等价关系. 且若$A{\sim }_{o}B$, 则由$A{\sim }_{s}B$且$A{\sim }_{c}B$, 这是因为正交矩阵的逆和转置相等. 由此可得, 矩阵的相似不变量和合同不变量都是正交等价的不变量. 但是反之不然, 不能用合同等价及相似等价同时成立推出正交等价

在正交等价下, 可以同时用$B=P^{-1}AP$和$B=P^{t}AP$来表示基底变换