最小二乘法的数学原理推导（机器学习线性回归）

——燕江依/2019.08.04

对于简单线性回归问题，即数据特征只有一个的基础数据集，要使得损失函数(这里是指真值与预测值之间误差的平方)最小，从而求得最优化的参数a和b，这个具体方法称为最小二乘法，利用最小二乘法，可以得到最佳的参数a和b的计算式，如下所示：

 

而对于以上的数学原理，最优化与凸优化原理均起着非常关键的作用，下面推导最小二乘法中的a、b参数,其具体数学推导过程如下：

 

第一步：首先对b进行求导：

 

第二步：继续对a进行求导：

 

 

 

最终求得最小二乘法中的a和b的具体计算公式如下所示：