可视化资源

优化算法对比

不同优化器在损失面上的轨迹差异:SGD / Momentum / NAG / Adagrad / RMSprop / Adam。

三维损失面上的优化轨迹

三维损失面上的优化器对比
不同优化器在三维损失面上的轨迹对比。
来源:邱锡鹏 · 原创动画(视频版本:opt-3d.mov

本页 GIF 由作者制作,原始视频版本:opt-3d.mov

交互式资源

TODO:可补充鞍点对比、长峡谷损失面等经典场景的二维动图(Alec Radford 等社区版本)。