损失函数（Loss Functions）

在学习中,损失函数通常被用于优化模型的参数,以最小化模型的预测和真实标签之间的差异.

损失函数的一些特点

1. 凹凸性(Convexity) 一个损失函数如果是凸的,那么它在优化过程中更容易找到全局.

2. 可微性(Differentiability) 可微的损失函数,使得我们可以使用梯度下降等优化算法.

3. 鲁棒性(Robustness) 一些损失函数对异常值不敏感,这使得模型在面对噪声数据时表现更好.

分任务讨论

回归任务(Regression Tasks)

回归是机器学习中监督学习问题,其目标是根据一个和多个输入特征预测连续的输出值.回归应用于多个领域,如房价预测、股票价格预测和气温预测等.

我们常见的回归损失函数有:

1. 均值方差误差(Mean Squared Error, MSE):

   $$ MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$

   其中几个变量的含义如下:

   • \( n \): 样本数量
   • \( y_i \): 第 \( i \) 个样本的真实值
   • \( \hat{y}_i \): 第 \( i \) 个样本的预测值

   可微性(公式如下):

   $$ \frac{\partial MSE}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) $$

2. 平均绝对误差(Mean Absolute Error, MAE):

   $$ MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$

   其中关键的参数含义如下:

   • \( n \): 样本数量
   • \( y_i \): 第 \( i \) 个样本的真实值
   • \(\hat{y}_i\): 第 \( i \)个样本的预测值

   也称为L1损失函数,其可微性如下:

   $$ \frac{\partial MAE}{\partial \hat{y}_i} = \begin{cases} -\frac{1}{n}, & \text{if } \hat{y}_i < y_i \\ \frac{1}{n}, & \text{if } \hat{y}_i > y_i \\ 0, & \text{if } \hat{y}_i = y_i \end{cases} $$

分类任务(Classification Tasks)

分类任务也是机器学习的监督学习问题,其目标是根据输入特征将数据点分配到预定义的类别中.分类任务广泛应用于垃圾邮件检测、图像识别和情感分析等领域.

有如下几种分类任务,一个二分类任务,多分类任务,以及多标签分类任务.