机器学习的正则化是什么意思?
发布时间:2019-10-16 09:07:34 所属栏目:经验 来源:佚名
导读:经常在各种文章或资料中看到正则化,比如说,一般的目标函数都包含下面两项 其中,误差/损失函数鼓励我们的模型尽量去拟合训练数据,使得最后的模型会有比较少的 bias。而正则化项则鼓励更加简单的模型。因为当模型简单之后,有限数据拟合出来结果的随机性
下图是Python中Ridge回归的损失函数,式中加号后面一项 即为L2正则化项。 一般回归分析中回归w表示特征的系数,从上式可以看到正则化项是对系数做了处理(限制)。L1正则化和L2正则化的说明如下: L1正则化是指权值向量w中各个元素的绝对值之和,通常表示为 L2正则化是指权值向量w中各个元素的平方和然后再求平方根(可以看到Ridge回归的L2正则化项有平方符号),通常表示为 一般都会在正则化项之前添加一个系数,Python中用α表示,一些文章也用λ表示。这个系数需要用户指定。 那添加L1和L2正则化有什么用? L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择 L2正则化可以防止模型过拟合(overfitting)。当然,一定程度上,L1也可以防止过拟合 稀疏模型与特征选择 上面提到L1正则化有助于生成一个稀疏权值矩阵,进而可以用于特征选择。为什么要生成一个稀疏矩阵? (编辑:上饶站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |