【最小二乘法的公式是什么】最小二乘法是一种用于数据拟合和参数估计的数学方法，广泛应用于统计学、工程、物理、经济等领域。其核心思想是通过最小化实际观测值与模型预测值之间的误差平方和，来找到最佳拟合参数。下面将对最小二乘法的基本公式进行总结，并以表格形式展示不同情况下的应用。
一、基本原理
最小二乘法的目标是找到一组参数，使得模型预测值与实际观测值之间的误差平方和最小。设模型为：
$$
y = f(x; \theta)
$$
其中，$ y $ 是观测值，$ x $ 是自变量，$ \theta $ 是待求参数。误差函数定义为：
$$
E(\theta) = \sum_{i=1}^{n} (y_i - f(x_i; \theta))^2
$$
最小二乘法就是求解使 $ E(\theta) $ 最小的 $ \theta $ 值。
二、线性回归中的最小二乘法公式
在最简单的线性回归中，模型为：
$$
y = a x + b
$$
目标是最小化误差平方和：
$$
E(a, b) = \sum_{i=1}^{n} (y_i - a x_i - b)^2
$$
通过对 $ a $ 和 $ b $ 求偏导并令其为零，可以得到正规方程组：
$$
\begin{cases}
\sum_{i=1}^{n} (y_i - a x_i - b) x_i = 0 \\
\sum_{i=1}^{n} (y_i - a x_i - b) = 0
\end{cases}
$$
解得：
$$
a = \frac{n \sum x_i y_i - \sum x_i \sum y_i}{n \sum x_i^2 - (\sum x_i)^2}
$$
$$
b = \frac{\sum y_i - a \sum x_i}{n}
$$
三、多项式拟合的最小二乘法公式
对于多项式拟合，模型为：
$$
y = a_0 + a_1 x + a_2 x^2 + \cdots + a_n x^n
$$
同样，通过最小化误差平方和，可以建立矩阵形式的正规方程：
$$
A^T A \cdot \mathbf{a} = A^T \mathbf{y}
$$
其中，$ A $ 是设计矩阵，$ \mathbf{a} $ 是系数向量，$ \mathbf{y} $ 是观测值向量。
四、最小二乘法的公式总结表
| 应用场景 | 模型形式 | 目标函数 | 参数求解方式 |
| 线性回归 | $ y = a x + b $ | $ E(a, b) = \sum (y_i - a x_i - b)^2 $ | 正规方程组（代数解） |
| 多项式拟合 | $ y = a_0 + a_1 x + \cdots + a_n x^n $ | $ E = \sum (y_i - \sum a_j x_i^j)^2 $ | 矩阵运算（数值解） |
| 非线性拟合 | $ y = f(x; \theta) $ | $ E = \sum (y_i - f(x_i; \theta))^2 $ | 数值优化方法（如梯度下降） |
五、总结
最小二乘法是一种基础而强大的数据拟合工具，适用于多种线性和非线性模型。其核心公式根据具体应用场景有所不同，但本质上都是通过最小化误差平方和来求得最优参数。掌握这些公式有助于更好地理解和应用最小二乘法于实际问题中。
