神经网络与深度学习

作者:邱锡鹏 微博:@邱锡鹏

关于本书

近年来,以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能问答、推荐系统到自动驾驶,人们在日常生活中都可能有意无意地使用到了人工智能技术。这些技术的背后都离不开人工智能领域研究者们的长期努力。特别是最近这几年,得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富,越来越多的人开始关注这一个“崭新”的研究领域:深度学习。深度学习以神经网络为主要模型,一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比如推理、决策等。目前,深度学习技术在学术界和工业界取得了广泛的成功,受到高度重视,并掀起新一轮的人工智能热潮。

本课程主要介绍神经网络与深度学习中的基础知识、主要模型(前馈网络、卷积网络、循环网络等)以及在计算机视觉、自然语言处理等领域的应用。

要获取更新提醒,请关注https://github.com/nndl/nndl.github.io

课程练习,见https://github.com/nndl/exercise

概要

《神经网络与深度学习》3小时课程概要 ppt(72M) pdf (12M)

全书内容 pdf (updated 2019-10-07)、ipad版 (updated 2019-10-07,请忽略版式问题)

2019-09-29更新说明:

  1. 更新向量符号:将所有粗体英文字母改为粗斜体
  2. 调整绪论的小节顺序
  3. 修改issue中的部分错误
  4. 统一更改了参考文献格式
  5. 增加了吴立德老师序

2019-10-07更新说明:

  1. 数学基础 调整微积分一节,增加了泰勒公式,积分的介绍
  2. 数学基础 增加熵编码一节
  3. 概率图模型 调整“学习”和“推断”两节的次序
  4. 概率图模型 增加“变分推断“的简单介绍

章节内容

  1. 绪论[ppt]
  2. 机器学习概述 [ppt]
  3. 线性模型 [ppt]
  4. 前馈神经网络 [ppt]
  5. 卷积神经网络 [ppt]
  6. 循环神经网络 [ppt]
  7. 网络优化与正则化 [ppt]
  8. 注意力机制与外部记忆 [ppt]
  9. 无监督学习 [ppt]
  10. 模型独立的学习方式 [ppt]
  11. 概率图模型 [ppt]
  12. 深度信念网络 [ppt]
  13. 深度生成模型[ppt]
  14. 深度强化学习 [ppt]
  15. 序列生成模型 [ppt] 一个过时版本:词嵌入与语言模型
  16. 数学基础

反馈意见

如果您有任何意见、评论以及建议(先确认最新版本中是否已经修正),请通过GitHub的Issues页面进行反馈。如果错误比较重要,我会在本书中进行致谢。

反馈意见包括但不限于:(因为分开排版关系,页码错误请忽略。)

非常感谢!

致谢列表:感谢王利锋、林同茂、张钧瑞、李浩、胡可鑫、韦鹏辉、徐国海、侯宇蓬、任强、王少敬、肖耀、李鹏等同学指出书中的错误。