English
中文
日本語
本质的研究
贝塞尔校正

摘要

在这篇文章中,我们将快速了解贝塞尔校正背后的数学.

参考

wikipedia
jbstatistics

贝塞尔校正

首先,我们假设我们有 n 个来自均值为 $\mu$ 和方差为 $\sigma^2$ 的总体的独立观察。总体方差 $\sigma^2$ 的定义是:

$$ \sigma^2 = \frac{\sum_{i=1}^n(x_i - \bar{x})^2}{n} \tag{1} \ ext{方差公式} $$

根据观察,我们可以使用教科书中的样本方差 $\sigma_2^2$ 来估计 $\sigma^2$:

$$ \sigma_s^2 = \frac{\sum_{i=1}^n(x_i - \bar{x})^2}{n-1} \tag{方差公式} $$

贝塞尔校正是使用 $n-1$ 而不是 $n$ 来计算样本方差的分母。
思考 $\sigma_s^2$ 实际上是 $\sigma^2$ 的无偏估计是令人费解的:

$$ \mathrm{E}(\sigma_s^2) = \mathrm{E} \big[ \frac{\sum_{i=1}^n(x_i - \bar{x})^2}{n-1} \big] \stackrel{?}{=} \sigma^2 \tag{3} $$

一些有用的身份

要证明(3),我们需要证明几个更有用的定义,即 $\mathrm{E}(x_i)$、$\mathrm{Var}(x_i)$、$\mathrm{E}(x_i^2)$、$\mathrm{E}(\bar{x})$、$\mathrm{Var}(\bar{x})$ 和 $\mathrm{E}(\bar{x}^2)$。根据总体定义,我们有:

$$ \mathrm{E}(x_i) = \mu \tag{4} $$

$$ \mathrm{Var}(x_i) = \sigma^2 \tag{方差} $$

\begin{align} \mathrm{E}(x_i^2) &= \mathrm{Var}(x_i) + \mathrm{E}(x_i)^2 \tag{$\mathrm{Var}(X) = \mathrm{E}(X^2) - \mathrm{E}(X)^2$}\\ &= \sigma^2 + \mu^2 \tag{6} \end{align}

对于样本均值 $\bar{x}$,我们有期望值:

\begin{align} \mathrm{E}(\bar{x}) &= \mathrm{E}(\frac{x_1 + x_2 + ... x_n}{n}) \\ &= \frac{\mathrm{E}(x_1 + x_2 + ... x_n)}{n} \\ &= \frac{\mathrm{E}(x_1) + \mathrm{E}(x_2) + ... \mathrm{E}(x_n)}{n} \\ &= \frac{n \mu}{n} \\ &= \mu \tag{7} \end{align}

类似地,样本均值的方差为:

\begin{align} \mathrm{Var}(\bar{x}) &= \mathrm{Var}(\frac{x_1 + x_2 + ... x_n}{n}) \\ &= \frac{\mathrm{Var}(x_1 + x_2 + ... x_n)}{n^2} \tag{$\mathrm{Var}(cX)=c^2\mathrm{Var}(X)$} \\ &= \frac{\mathrm{Var}(x_1) + \mathrm{Var}(x_2) + ... \mathrm{Var}(x_n)}{n^2} \\ &= \frac{n \sigma^2}{n^2} \\ &= \frac{\sigma^2}{n} \tag{8} \end{align}

给定 (7) 和 (8),我们有:

\begin{align} \mathrm{E}(\bar{x}^2) &= \mathrm{Var}(\bar{x}) + \mathrm{E}(\bar{x})^2 \tag{$\mathrm{Var}(X) = \mathrm{E}(X^2) - \mathrm{E}(X)^2$}\\ &= \frac{\sigma^2}{n} + \mu^2 \tag{9} \end{align}

证明

基于上述恒等式,证明(3)是非常简单的。我们暂时忽略分母 $n-1$:

\begin{align} & \mathrm{E} \big[ \sum_{i=1}^n (x_i - \bar{x})^2 \big] \\ &= \mathrm{E} \big[ \sum_{i=1}^n (x_i^2 - 2 x_i \bar{x} + \bar{x}^2) \big] \\ &= \mathrm{E} \big[ \sum_{i=1}^n x_i^2 - \sum_{i=1}^n 2 x_i \bar{x} + \sum_{i=1}^n \bar{x}^2 \big] \\ &= \mathrm{E} \big[ \sum_{i=1}^n x_i^2 - 2 \bar{x} \sum_{i=1}^n x_i + n \bar{x}^2 \big] \tag{\bar{x}是常量} \\ &= \mathrm{E} \big[ \sum_{i=1}^n x_i^2 - 2 \bar{x} (n \bar{x}) + n \bar{x}^2 \big] \tag{\sum_{i=1}^n x_i = n \bar{x}} \\ &= \mathrm{E} \big[ \sum_{i=1}^n x_i^2 - 2 n \bar{x}^2 + n \bar{x}^2 \big] \\ &= \mathrm{E} \big[ \sum_{i=1}^n x_i^2 - n \bar{x}^2 \big] \\ &= \sum_{i=1}^n \mathrm{E}(x_i^2) - \mathrm{E}(n \bar{x}^2) \\ &= \sum_{i=1}^n \mathrm{E}(x_i^2) - n \mathrm{E}(\bar{x}^2) \\ &= \sum_{i=1}^n \sigma^2 + \mu^2 - \frac{\sigma^2}{n} + \mu^2 \tag{给定 (6), (9)} \\ &= \sum_{i=1}^n \sigma^2 - \frac{\sigma^2}{n} \\ &= n \sigma^2 - \sigma^2 \tag{\sigma^2是常量} \\ &= (n - 1) \sigma^2 \tag{10} \\ \end{align}

考虑到(10),我们不难看出:

$$ \frac{\mathrm{E} \big[ \sum_{i=1}^n (x_i - \bar{x})^2 \big]}{n-1} = \mathrm{E} \big[ \frac{\sum_{i=1}^n (x_i - \bar{x})^2}{n-1} \big] = \mathrm{E} (\sigma_s^2) = \sigma^2 \tag{11} $$

本质的研究
Dongqi Su, 苏东琪
链接
Github Linkedin
该网站
使用 sudoki.SiteMaker 制作