最大似然法

最大似然法是通过数据确定模型参数的一种方法,我们假设模型的参数为.那么有:

假设模型是最优的,那么这个概率一定比其他模型大,也就是最优的模型这个概率是最大的.

由于数据是已知的未知,所以

为了方便后续计算我们将等式两边取对数:

接下来我们最大化这个概率就是模型的参数.

最小二乘法

首先假设线性回归模型具有如下形式:


其中,误差

当前已知,怎样求呢?

假设,也就是说,那么用最大似然估计推导:


这不就是最小二乘么。

最小二乘法的集合解释:

如图,如果模型与所有数据的误差(绿色线最短)最小,那么模型是最好的.

posted @ 2018-07-11 16:30:45
评论加载中...

发表评论