深度学习系列第四篇 — 神经反向传播

反向传播算法

反向传播算法 - 维基百科

反向传播是一种与最优化方法结合使用的，用来训练人工神经网络的常用方法。通过计算所有权值的损失函数梯度，反馈给最优化方法，用来更新权值以最小化损失函数。

反向传播算法分成两个阶段：激励传播和权值更新

• 激励传播：将输入值送入网络，活的激励响应，验证结果求差，从而获得响应误差。
• 权重更新：将输入的激励和响应误差相乘，获得权重的梯度，将梯度乘一个比例后取反加到权重上。

训练的过程就是不断的重复这两个阶段，直到获得满意的预测准确率。