Cross-entropy

代价函数，或者称为损失函数（loss function）用于衡量系统输出和期望输出的误差大小，通过向着逐步减小代价函数的方向，也就是函数关于参数的梯度的负方向调整参数，我们就减小误差，从而优化模型。一般情况下我们会使用均方差（MSE：Mean Square Error）作为代价函数，因为均方差有很好的几何解释，可以视为欧几里得空间的距离。然而在神经网络中，我们会使用交叉熵（Cross-entropy）作为代价函数而不使用我们常用的均方差，原因在于神经网络中有一个特殊的部分：激活函数（）。实践证明如果使用均方差作为代价函数，在误差大的时候学习得不快，这个与我们的直觉相悖。我们应该认为，误差越大越应该更快地朝优化的方向前进。造成这种现象的原因解释如下：

设代价函数 , 其中 。学习得不快可以理解为下降的都不大，也就是函数的梯度值不大。现在求一下 关于 的偏导数，也就是关于的梯度。根据链式法则有:

由此可以看出，下降速度除了和预测与真实值之间的差值有关以外，还乘了一个倍率。这个倍率是 函数的导数。而由函数图像（如下）可知显然在两端倒数几乎为0，只有在中间部分才很大。这就是问题的根源。

交叉熵解决这个问题的方式就是构造出一个新的代价函数， 使得 的表达式 这一项，也就是不含$sigmoid$ 的导数。构造出来的代价函数为 。 对 求偏导数：

又因为$sigmoid$ 函数的特殊性，我们可以用它本身来表示它的倒数，也就是， 代入上式可得: 

也就是我们获得了 的梯度。这个梯度和 的导数毫无关系，而且模型预测和真实输出的差值越大，梯度就越大，梯度下降的速率就越大，学习就越快。这就是为什么神经网络需要使用交叉熵的代价函数而不是均方差代价函数了。

附：简单证明