机器学习_最优化_损失函数

2018 年 07 月 22 日

1405 次浏览

602字数

机器学习_最优化_损失函数

通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。

在分类或者回归问题中，通常使用**损失函数（代价函数）**作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。

> 损失函数分为经验风险损失函数和结构风险损失函数

$θ^∗=argmin(1/N)\sum_i=1^n\L(y_i,f(x_i;θ_i))\+λ\phi(\theta) $

### 0-1损失函数和绝对值损失函数 
原理：预测值和目标值不相等为1，否则为0。 绝对值损失函数为：

$ L(Y,f(X))=1, if Y≠f(X)$
$ L(Y,f(X))=0, if Y=f(X)$

感知机就是用的这种损失函数 
改进：Y-f(X)<阈值T判断相等
绝对值损失函数为： 
$ L(Y,f(X)=|Y−f(X)| $

### log对数损失函数
原理：假设样本服从伯努利分布（0-1）分布，然后求得满足该分布的似然函数，接着用对数求极值。 
log损失函数的标准形式：

$ L(Y,P(Y|X))=−logP(Y|X) $

### 平方损失函数 
最小二乘法是线性回归的一种方法，它将回归的问题转化为了凸优化的问题。最小二乘法的基本原则是：最优拟合曲线应该使得所有点到回归直线的距离和最小。通常用欧几里得距离进行距离的度量。 平方损失的损失函数为：

$ L(Y|f(X))=∑N(Y−f(X))^2 $

### 指数损失函数 
AdaBoost就是一指数损失函数为损失函数的。 
指数损失函数的标准形式：

$ L(Y|f(X))=exp[−yf(x)]  $

### Hinge损失函数 
Hinge损失函数和SVM是息息相关的。在线性支持向量机中，最优化问题可以等价于

$ 1/m\sum_i=1^m\l(wx_i+by_i)+||w||^2 $

其中$ l(wx_i+by_i) $ 就是hinge损失函数，后面相当于L2正则项。

Hinge函数的标准形式：

$ L(y)=max(0,1−ty) $

>y的值在-1和+1之间就可以了,使分类器可以更专注于整体的分类误差

[参考文章](https://blog.csdn.net/weixin_37933986/article/details/68488339)
$$

最后修改：2020 年 08 月 02 日

如果觉得我的文章对你有用，请随意赞赏

机器学习_最优化_损失函数

AomanHao • 2018 年 07 月 22 日