Probability Theory Final

重点

矩估计, MLE (2道大题)

Discuss 有效性 无偏性 相合性 渐进性

UMVUE (1道大题)

假设检验 (1-3道大题)

Pearson 列联表之后不考

大数定律

四种收敛形式

Tips

这里的收敛形式都是对一串随机变量$X_1,X_2,\dots ,X_n,\dots$. 我们讨论的是$n\to \infty$时候的性质.

分布收敛

$X_1,X_2,\dots$对应概率函数$F_1,F_2,\dots$, 则存在一个$F$使得

$$\underset{n\to \infty }{\lim }{F}_n(x)=F(x)$$

概率收敛

存在一个$X$使得对任意$\epsilon >0$,

$$\underset{n\to \infty }{\lim }P\left(\left|X_n-X\right|>\epsilon \right)=0$$

几乎处处收敛

满足

$$P\left(\underset{n\to \infty }{\lim }{X}_n=X\right)=1$$

$r$-阶矩收敛

满足

$$\underset{n\to \infty }{\lim }\mathrm{E}\left[{\left|X-X_n\right|}^r\right]=0$$

四种收敛形式的转化

1. 收敛形式的强弱

$$\begin{array}{cccccc}\stackrel{L^s}{\to }& \underset{s\ge r\ge 1}{\Rightarrow }& \stackrel{L^r}{\to }& & & \\ & & \Downarrow & & & \\ \stackrel{a.s.}{⟶}& \Rightarrow & \stackrel{p}{\to }& & \Rightarrow & \stackrel{d}{⟶}\end{array}$$

2. (连续映射定理) For continuous function $g(x)$ and $\text{type}\in \left\{a.s.,p,d\right\}$, $X_n\stackrel{\text{type}}{\to }X⟹g(X_n)\stackrel{\text{type}}{\to }g(X)$

Tips

连续映射定理对按$r$-阶矩收敛不成立

3. (Slustky定理) If $c$ is a constant and $X_n\stackrel{d}{\to }X,Y_n\stackrel{p}{\to }c$, then
   1. $X_n+Y_n\stackrel{d}{\to }X+c$
   2. $X_n{Y}_n\stackrel{d}{\to }cX$
   3. $X_n/Y_n\stackrel{d}{\to }X/c,\text{if}c\ne 0$

Tips

对于收敛到一个常数的要求比收敛到一个随机变量的要求更高.

弱大数定律

对于

• i.i.d
• 有限均值 的样本, 我们有

$${\bar{X}}_n\stackrel{p}{\to }\mathrm{E}[X],\text{as}n\to \infty$$

强大数定律

对于

• i.i.d
• 有限均值
• 有限方差 的样本, 我们有

$${\bar{X}}_n\stackrel{a.s}{\to }\mathrm{E}[X],\text{as}n\to \infty$$

切比雪夫不等式

如果

• $X$的均值存在
• $X$的方差存在 则

$$P\left(\left|X-\mathrm{E}[X]\right|\ge \epsilon \right)\le \frac{\mathrm{Var}(X)}{{\epsilon }^2}$$

中心极限定理

如果样本$X_1,X_2,\dots ,X_n$满足

• i.i.d.
• $X_i$的均值存在, 且为$\mu$
• $X_i$的方差存在, 且为${\sigma }^2$ 那么当$n\to \infty$的时候就有

$$\sqrt{n}\left({\bar{X}}_n-\mu \right)\stackrel{d}{\to }\mathcal{N}(0,{\sigma }^2)$$

或者可以写成

$$\frac{{\bar{X}}_n-\mu }{\mathrm{SE}}\stackrel{d}{\to }\mathcal{N}(0,1)$$

这里的$\mathrm{SE}=\frac{\sigma }{\sqrt{n}}$是标准误差(Standard Error).

Tips

对于二项分布$X\sim B(n,p)$而言, 形式上虽然只有一个样本, 不能使用中心极限定理, 但是我们可以把它拆解成多个伯努利试验的结果的和$X=X_1+X_2+\cdots +X_n$, 从而我们有$\mathrm{E}[X_i]=p,\mathrm{Var}(X_i)=p(1-p)$. 又注意到$\bar{X}=X/n$, 于是我们就有 $\sqrt{n}\left(\bar{X}-p\right)\stackrel{d}{\to }\mathcal{N}(0,p(1-p))$ 也就是 $\frac{X-np}{\sqrt{np(1-p)}}\stackrel{d}{\to }\mathcal{N}(0,1)$

次序统计量

最大最小值

注意这两个特殊次序量的CDF可以写成

$$P(X_{\max }<x)=\prod _{i=1}^{n}P(X_i<x)$$

和

$$1-P(X_{\min }<x)=P(X_{\min }>x)=\prod _{i=1}^{n}P(X_i>x)$$

密度函数

假设$X_1,\dots ,X_n$ i.i.d. 来自于同一个CDF为$F(x)$, PDF为$f(x)$的分布.

考虑第$k$个次序统计量$X_{(k)}$的分布, 我们想推导$f_{X_{(k)}}(x)$. 我们要在$n$个观测值中选出$k-1$个小于$x$的, $1$个在$x$附近, 以及剩下$n-k$个大于$x$. 这里

• 恰好有$k-1$个观测值小于$x$的概率是$[F(x){]}^{k-1}$
• 恰好有一个观测值落在$x\sim x+\mathrm{d}x$内的概率是$f(x)\mathrm{d}x$
• 恰好有$n-k$个观测值大于$x$的概率是${\left[1-F(x)\right]}^{k-1}$
• 对应的多项式系数就是$\left(\genfrac{}{}{0ex}{}{n}{k-11n-k}\right)=\frac{n!}{(k-1)!(n-k)!}$

于是对应的概率密度就是

$$f_{X_{(k)}}(x)=\frac{n!}{(k-1)!(n-k)!}{\left[F(x)\right]}^{k-1}f(x){\left[1-F(x)\right]}^{n-k}$$

特别地, 对于最大$k=n$, 最小$k=1$值有

$$f_{X_{(n)}}(x)=n[F(x){]}^{n-1}f(x),f_{X_{(1)}}(x)=nf(x){\left[1-F(x)\right]}^{n-1}$$

以最大值为例, 前一节的推导告诉我们对于CDF有

$$F_{\max }(x)=\prod _{i=1}^{n}F(x)={\left[F(x)\right]}^n$$

两边求导和上面PDF的结果就是一样的.

三大分布

Chi-Squared分布

构造

$k$个独立标准正态分布的平方和就服从${\chi }^2(k)$分布.

均值和方差

• 均值为$k$
• 方差为$2k$ 倒数${\chi }^2(k)$分布的的均值为$\frac{1}{k-2}$, 也就是

$$X\sim {\chi }^2(k)⟹\mathrm{E}\left[\frac{1}{X}\right]=\frac{1}{k-2}.$$

这可以用来帮助得到F分布的均值.

Cochran定理

我们还可以通过构造样本方差的方式来构造${\chi }^2$统计量, 对于$n$个标准正态分布随机变量$Z_1,\dots ,Z_n$, 就有

$$\sum _{i=1}^n{\left(Z_t-\bar{Z}\right)}^2\sim {\chi }^2(n-1)$$

这里的$\bar{Z}$是样本方差.

Tips

从${\chi }^2$的第一种平方和构造也可以知道, 这里左边不需要除以$(n-1)$.

Cochran常用于样本符合正态分布, (或者根据中心极限定理在$n$较大时近似符合正态分布).

可加性

如果$X\sim {\chi }^2(n)$, $Y\sim {\chi }^2(m)$, 且$X,Y$相互独立, 那么我们就有$X+Y\sim {\chi }^2(n+m)$.

和其他分布的关系

自由度为$2$的${\chi }^2$分布就是一个$\lambda =\frac{1}{2}$的指数分布.

• 它们的均值: ${\chi }^2$为$k=2$, 而指数分布为$\frac{1}{\lambda }=2$.
• 它们的方差: ${\chi }^2$为$2k=4$, 而指数分布为$\frac{1}{{\lambda }^2}=4$

同样自由度为$2$的${\chi }^2$分布也可以通过均匀分布构造得到

$$X\sim \mathrm{Unif}(0,1)⟹-2\ln (X)\sim {\chi }^2(2)$$

${\chi }^2$分布是Gamma分布的一个特例, 也就是说

$${\chi }^2(n)=\mathrm{Gamma}(n/2,1/2)$$

或者我们写得更加简单点, 利用Gamma分布和指数分布之间的联系

$${\chi }^2(2n)=\sum {\chi }^2(2)=\sum \mathrm{Expo}(1/2)=\mathrm{Gamma}(n,1/2)$$

Tips

可以记住一个结论, $X\sim \mathrm{Expo}(\lambda )⟹2\lambda X\sim \mathrm{Gamma}(1,1/2)={\chi }^2(2)$

t分布

构造

我们有一个标准正态分布随机变量$X\sim \mathcal{N}(0,1)$, 和一个$Y\sim {\chi }^2(n)$, 且它们相互独立, 那么就有

$$T=\frac{X}{\sqrt{Y/n}}\sim t_n$$

Tips

注意不要忘记分母根号里要除以$n$

性质

均值为$0$, 因为t分布是一个对称分布

当$n\to \infty$时, 我们有$t_n\stackrel{d}{\to }\mathcal{N}(0,1)$

F分布

构造

我们有两个独立的$X\sim {\chi }^2(n),Y\sim {\chi }^2(m)$, 那么我们就有

$$\frac{X/n}{Y/m}\sim F_{n,m}$$

性质

$F_{n,m}$的均值只和$m$有关, 因为分子的均值是一个常量. 具体来说, 其均值为

$$\mu =\frac{m}{m-2}$$

如果$Z\sim F_{n,m}$, 那么$1/Z\sim F_{m,n}$.

如果$T\sim t_n$, 那么$T^2\sim F_{1,n}$

当$m\to \infty$时, $n{F}_{n,m}\stackrel{d}{\to }{\chi }_n^2$.

矩估计

样本的各阶矩(均值, 方差)等是参数的函数, 先计算出这些函数的形式, 再给出由样本估计的这些矩的值(样本均值, 样本方差), 令它们相等, 就可以解出参数的值.

要估计多少个参数, 就最少需要多少个矩方程.

MLE

先根据样本计算出似然函数, 再计算对数似然函数, 对其进行求导(或者Lagrange乘子法), 得到使得似然函数最大的参数值.

离散分布的似然函数

伯努利分布$X\sim \mathrm{Bin}(1,p)$, 似然函数为$L(p)=p^{1-X}(1-p{)}^X$

一次二项分布采样可以处理成多个伯努利分布的和${\prod }_{i=1}^n{p}^{1-X_i}$

或者利用二项分布的PMF$\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$.

对于多项分布, 就是$p_1^{N_1}{p}_2^{N_2}\cdots p_k^{N_k}$

UMVUE

如果一个对参数$\theta$的估计$\hat{\theta }$是UMVUE, 那么

• $\hat{\theta }$是无偏估计, 也就是说$\mathrm{E}[\hat{\theta }]=\theta$.
• $\hat{\theta }$在$\theta$的所有无偏估计中具有最小的方差.

C-R下界

C-R不等式告诉我们任何一个对某个分布的参数$\theta$的估计$\hat{\theta }$的方差都不会小于一个下界, 也就是

$$\mathrm{Var}(\hat{\theta })\ge \frac{1}{nI(\theta )}$$

其中$I(\theta )$是Fisher信息量. 其定义为

$$I(\theta )=\mathrm{E}\left[{\left(\frac{\partial \log f(x;\theta )}{\partial \theta }\right)}^2\right]=-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\log f(x;\theta )\right]$$

Tips

注意Fisher信息量直接由待估计的分布和$\theta$完全决定, 和样本无关 (但是MLE中的似然函数就和样本有关了). 具体而言, 这里的似然函数是$f(x;\theta )$, 而MLE中的似然函数为$f(X;\theta )$.

充分性

充分统计量是指在给定样本数据时, 它包含所有与未知参数相关的信息. 换句话说, 如果我们知道了一个充分统计量的值, 那么我们就可以忽略原始样本数据, 因为它不会提供关于参数的额外信息.

如果样本数据是$X$, 统计量$T(X)$是$\theta$的一个充分统计量, 那么我们就有

$$P(X=x\mid T(X)=t,\theta )=P(X=x\mid T(X)=t)$$

比如说如果我们要估计一个抛一枚硬币向上的概率

• 原始数据$X$: 正, 反, 反, 正, 反 ...
• $T(X)$: 正面朝上的次数 这里的$T(X)$就是硬币朝上概率的一个充分统计量.

Rao-Blackwell 定理

如果我们有一个无偏估计和一个充分统计量, 那么我们就可以构造一个不比原来差的无偏估计. 即如果我们本来有一个无偏估计$\hat{\theta }:\mathrm{E}[\hat{\theta }]=\theta$, 和一个充分统计量$T$, 由此我们可以构造一个新的估计$\mathrm{E}[\hat{\theta }|T]$, 且

• 它也是无偏的: $\mathrm{E}\left[\mathrm{E}[\hat{\theta }|T]\right]=\theta$;
• 它不比原来的差$\mathrm{Var}(\mathrm{E}[\hat{\theta }|T])\le \mathrm{Var}(\hat{\theta })$.

寻找充分完备统计量

分布	参数	充分统计量	样本均值是否为充分统计量
正态分布	$\mu$ (已知 ${\sigma }^2$)	${\sum }_{i=1}^n{X}_i$ 或 $\bar{X}$	是
正态分布	${\sigma }^2$ (已知 $\mu$)	${\sum }_{i=1}^n(X_i-\mu {)}^2$	否
正态分布	$\mu$ 和 ${\sigma }^2$ 都未知	$({\sum }_{i=1}^n{X}_i,{\sum }_{i=1}^n{X}_i^2)$ 或者 $(\bar{X},S^2)$	否
指数分布	$\lambda$	${\sum }_{i=1}^n{X}_i$ 或 $\bar{X}$	是
二项分布	$p$	${\sum }_{i=1}^m{X}_i$ 或者 $\bar{X}$ (注意二项分布样本均值的定义)	是
Poisson分布	$\lambda$	${\sum }_{i=1}^n{X}_i$ 或 $\bar{X}$	是

完备性

不考

相合和渐进正态

相合估计

一个相合估计是指当样本量趋于无穷大时, 依概率收敛于被估计的总体参数的估计量. 换句话说, 随着我们使用越来越多的数据, 相合估计变得越来越接近我们试图估计的真实值.

$$\underset{n\to \infty }{\lim }P(|{\hat{\theta }}_n-\theta |>ϵ)=0$$

一个MLE是相合的当且仅当:

• 对数似然函数可微
• 似然函数是可识别的, 也就是说
  • 不同的参数对应不同的分布, 且参数空间是紧集
  • 或者说, 不同参数对应的分布之间的KL散度恒为正

渐进正态性

如果一个估计量 ${\hat{\theta }}_n$, 是基于大小为 $n$ 的样本得出的参数 $\theta$ 的估计, 并且当 $n\to \infty$ 时, 它满足以下性质:

$$\sqrt{n}({\hat{\theta }}_n-\theta )\stackrel{d}{\to }\mathcal{N}(0,{\sigma }^2)$$

那么我们称 ${\hat{\theta }}_n$ 具有渐近正态性, 它的渐近均值为 $\theta$, 渐近方差为 ${\sigma }^2$.

Delta方法

如果我们有 $\sqrt{n}(X_n-\mu )\stackrel{d}{\to }N(0,{\sigma }^2)$, 并且 $g^{\prime }(\mu )$ 存在且不为零, 那么

$$\sqrt{n}(g(X_n)-g(\mu ))\stackrel{d}{\to }N(0,[g^{\prime }(\mu ){]}^2{\sigma }^2)$$

区间估计

置信区间 选填 也有大题: 算置信区间

Note

多做题就行

假设检验

基本概念熟悉

Note

本质上和区间估计一样 多做题.

两类错误

假设大概率得是对的, 所以第一类错误就是假设对了但是拒绝了, 这种错误就比较常见. 而假设错了但还是接受了它, 这种错误比较少见, 所以称之为第二类错误.

$\alpha$控制的是犯第一类错误的概率

Fact \ Decision	Accept $H_0$	Reject $H_0$
$H_0$ is true	Good	Type I Error
$H_1$ is true	Type II Error	Good

功效函数

功效函数 ${\beta }_{\varphi }(\theta )$ 定义为

$${\beta }_{\varphi }(\theta )=P(\varphi =1)$$

也可以表示为

$$\beta (\theta )=P(\theta \in W)$$

也就是样本落入拒绝域的概率.

1. 当 $H_0$ 为真时, ${\beta }_{\varphi }(\theta )$ 表示发生第一类错误的概率
2. 当 $H_1$ 为真时, $1-{\beta }_{\varphi }(\theta )$ 表示发生第二类错误的概率

几个轴枢量对应的符号

也就是对应CDF的反函数

• 正态分布$u(x)={\Phi }^{-1}(x)$
• ${\chi }^2$分布: ${\chi }_n^2(x)$
• $t$分布: $t_n(x)$

一些常见情况下的检验

方差已知 检验均值

$$\frac{\sqrt{n}(\bar{X}-{\mu }_0)}{\sigma }\sim \mathcal{N}(0,1)$$

方差未知 检验均值

$$\frac{\sqrt{n}(\bar{X}-{\mu }_0)}{\sqrt{S^2}}\sim t_n$$

均值已知 检验方差

$$\frac{1}{{\sigma }_0^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$$

均值未知 检验方差

$$\frac{1}{{\sigma }_0^2}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2\sim {\chi }^2(n-1)$$

两样本方差已知时均值差异的检验

$$\frac{(\bar{X}-\bar{Y})-({\mu }_X-{\mu }_Y)}{\sqrt{\frac{{\sigma }_X^2}{n_X}+\frac{{\sigma }_Y^2}{n_Y}}}\sim \mathcal{N}(0,1)$$

两样本方差未知且相等时均值差异的检验

$$\frac{(\bar{X}-\bar{Y})-({\mu }_X-{\mu }_Y)}{\sqrt{\frac{1}{n_X}+\frac{1}{n_Y}}\sqrt{\frac{(n_X-1)S_X^2+(n_Y-1)S_Y^2}{n_X+n_Y-2}}}\sim t_{n_X+n_Y-2}$$

两样本均值已知时方差差异的检验

$$\frac{{\tilde{S}}_X^2{\sigma }_Y^2}{{\tilde{S}}_Y^2{\sigma }_X^2}\sim F_{n_X,n_Y}$$

这里$\tilde{S}=\frac{1}{n}{\sum }_{i=1}^n(X_i-\mu {)}^2$

两样本均值未知时方差差异的检验

$$\frac{S_X^2{\sigma }_Y^2}{S_Y^2{\sigma }_X^2}\sim F_{n_X-1,n_Y-1}$$

一致最优检验(NP引理) 不考

构造假设检验, 确定拒绝域(一个大题+3-4个选填)

大样本检验

就是使用中心极限定理

Warning

注意中心极限定理是对一系列样本$X_1,X_2,\dots ,X_n$在$n\to \infty$时的结论

拟合优度检验不考(列联表不考)

大题

中心极限定理 , 大数定律

矩估计 MLE

假设检验

小题

三大分布

假设检验

一点点的矩估计和MLE

例题

T1

记$X_1,X_2,\dots ,X_n$ i.i.d $\sim \mathcal{N}(\mu ,{\sigma }^2)$, 其中$\mu$已知.

1. 求常数$k$, 使得${\hat{\sigma }}_1=\frac{k}{n}{\sum }_{i=1}^n\left|X_i-\mu \right|$是$\sigma$的相合估计.
2. 求$\sigma$的矩估计${\hat{\sigma }}_2$和最大似然估计${\hat{\sigma }}_3$;
3. 求$\sqrt{n}{\hat{\sigma }}_1,\sqrt{n}{\hat{\sigma }}_3$的渐进方差.

1. 相合估计刻画的是当样本量$n\to \infty$时${\hat{\sigma }}_1$的行为, 我们需要找出一个$k$, 使得对任意$\epsilon >0$

$$\underset{n\to \infty }{\lim }P(\left|{\hat{\sigma }}_1(n)-\sigma \right|>\epsilon )=0$$

这里的关键是计算

$$\underset{n\to \infty }{\lim }{\hat{\sigma }}_1=\underset{n\to \infty }{\lim }\frac{k}{n}\sum _{i=1}^n\left|X_i-\mu \right|$$

我们先求出$\left|X_i-\mu \right|$的分布:

$$X\sim \mathcal{N}(\mu ,{\sigma }^2)⟹X-\mu \sim \mathcal{N}(0,{\sigma }^2)⟹\mathrm{E}\left[\left|X-\mu \right|\right]={\mu }^{\prime }$$

其中

$${\mu }^{\prime }={\int }_0^{\infty }\frac{2x}{\sqrt{2\pi {\sigma }^2}}\exp \left[-\frac{x^2}{2{\sigma }^2}\right]\mathrm{d}x=\frac{2\sigma }{\sqrt{2\pi }}$$

这里${\mu }^{\prime },{\sigma }^2$都是有限的, 考虑强大数定律

$$\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{i=1}^n\left|X_i-\mu \right|\stackrel{a.s.}{\to }{\mu }^{\prime }=\frac{2\sigma }{\sqrt{2\pi }}$$

a.s.隐含按照p收敛, 于是有$\frac{2\sigma k}{\sqrt{2\pi }}=\sigma ⟹k=\frac{\sqrt{2\pi }}{2}$.

2. 对于矩估计, 可以直接用样本方差估计$\sigma$

$${\hat{\sigma }}_2=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2}$$

对于MLE, 先写出似然函数

$$\mathcal{L}({\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left[-\frac{(X_i-\mu {)}^2}{2{\sigma }^2}\right]$$

对数似然函数

$$\ell ({\sigma }^2)=\sum _{i=1}^n\left[-\frac{(X_i-\mu {)}^2}{2{\sigma }^2}+\ln \frac{1}{\sqrt{2\pi {\sigma }^2}}\right]$$

抛弃和${\sigma }^2$无关的项, 就有

$${\ell }_1({\sigma }^2)=-\frac{1}{2}\left[\sum _{i=1}^n(X_i-\mu {)}^2\right]\frac{1}{{\sigma }^2}-\frac{n}{2}\ln ({\sigma }^2)$$

设$\theta :={\sigma }^2$, 对$\theta$求导就有

$$\frac{\mathrm{d}{\ell }_1(\theta )}{\mathrm{d}\theta }=\left[\sum _{i=1}^n(X_i-\mu {)}^2\right]\frac{1}{{\sigma }^3}-\frac{n}{\sigma }$$

令其为零就有

$${\hat{\sigma }}_3=\sqrt{\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2}$$

3. 我们直接求$\sqrt{n}{\hat{\sigma }}_1$的方差, 也就是$n\mathrm{Var}({\hat{\sigma }}_1)$. 我们将其展开来算

$$\mathrm{Var}({\hat{\sigma }}_1)=\frac{k^2}{n^2}\sum _{i=1}^n\mathrm{Var}(\left|X_i-\mu \right|)=\frac{k^2}{n}\mathrm{Var}(\left|X-\mu \right|)$$

前面我们已经算出来$\mathrm{E}\left[\left|X-\mu \right|\right]=\frac{2\sigma }{\sqrt{2\pi }}$, 现在我们根据方差的定义,

$$\mathrm{E}\left[{\left|X-\mu \right|}^2\right]=\mathrm{Var}(X)={\sigma }^2$$

于是有

$$\mathrm{Var}(\left|X-\mu \right|)=\mathrm{E}\left[{\left|X-\mu \right|}^2\right]-{\mathrm{E}}^2\left[\left|X-\mu \right|\right]=\left(1-\frac{2}{\pi }\right){\sigma }^2$$

从而

$$n\mathrm{Var}({\hat{\sigma }}_1)=\frac{\pi }{2}\left(1-\frac{2}{\pi }\right){\sigma }^2=\left(\frac{\pi }{2}-1\right){\sigma }^2$$

由于${\hat{\sigma }}_3$是MLE, 所以我们可以计算Fisher信息量

$$\begin{array}{rl}I(\sigma )& =-\mathrm{E}\left\{\frac{{\partial }^2}{\partial {\sigma }^2}\left[-\frac{(x-\mu {)}^2}{2{\sigma }^2}+\ln \frac{1}{\sqrt{2\pi {\sigma }^2}}\right]\right\}\\ & =-\mathrm{E}\left[-\frac{3(x-\mu {)}^2}{{\sigma }^4}+\frac{1}{{\sigma }^2}\right]\\ & =\frac{2}{{\sigma }^2}\end{array}$$

所以$\sqrt{n}{\hat{\sigma }}_3$的渐近方差为$\frac{{\sigma }^2}{2}$.