ResNet学习心得

在上一章节，我们着重介绍了有关卷积神经网络的计算原理与优化方法，这一章，我们将介绍ResNet这一个里程碑式的神经网络，它解决了朴实神经网络在训练中的层数增加导致的深度神经网络训练中的梯度消失/爆炸问题和网络深度增加时准确度饱和甚至下降的现象（退化问题）

ResNet被发明于2015年，它的优化方法大大加速了机器学习领域的研究进度，下面我将介绍它的核心创新点：残差学习。

从图中图像我们可以观测到：随着网络层增加，训练集和测试集的loss都有增加（准确度下降），那么，是什么导致了这一点呢？我们来假设是因为过拟合或梯度消失/梯度爆炸这两种原因来进行分析：

1、过拟合：过拟合现象指的是在训练集上表现的很好，但是在测试集上表现差的情况，但是从图中分析可知：数据在测试集和训练集上表现的都比较差，所以这并非训练数据不足或模型复杂度过高导致的过拟合现象。

2、梯度下降/梯度爆炸：在传统神经网络中，如果出现传递的值过小或过大，随着层数加深会导致结果失真的问题，通过前几章介绍的归一化处理可以很好的解决这个问题。

通过跳跃连接的方法，我们可以用这种映射的方式来进行计算，

果网络已经足够好**：F(x) 会接近 0，输出就是 0+x=x，相当于”我停在原地，不往下走”，不会让性能变差。 如果网络还能优化**：F(x) 会学习到需要调整的部分，比如上面例子中的 0.1。 梯度传播**：在反向传播时，梯度可以通过 x 直接传回，不会因为多层传递而消失，就像给梯度开了一条”高速公路”

优化设计：