2022年02月16日，曾开发出AlphaGo的DeepMind公司在Nature上发表论文，宣布他们通过强化学习训练了一个人工智能来成功控制核聚变，这一消息迅速引爆技术圈。
▲DeepMind在推特上发表消息
无论学术界还是工业界，强化学习的热度一直居高不下，但它的学习难度也同样不低。
不过GitHub上有一个热门的强化学习教程“蘑菇书Easy RL”，它基于中科院、清华、北大的三位在读硕士自学3门强化学习的经典公开课时所作的笔记，获得了1w+的下载和3.3k+的标星。
▲“蘑菇书”《Easy RL：强化学习教程》
如今，它的纸质书正式出版，让更多想要入门强化学习的同学更加便捷。
01
自学难度大？
B站3门累计播放100w+的公开课很不错！
为什么“蘑菇书Easy RL”能获得这么高的关注度？
一方面是因为强化学习本身便具有热度，它作用强、应用广，对应的岗位高薪、前景广阔，吸引了许多人学习。
另一方面是因为强化学习入门难，而这套教程则非常干货。
它所基于的3门公开课——李宏毅老师的“深度强化学习”、周博磊老师的“强化学习纲要”和李科浇老师的“世界冠军带你从零实践强化学习”，正是入门强化学习的热门公开课，而这一本“蘑菇书”就涵盖了3门大热公开课的内容，自然能够收获众多学习者的支持和喜爱。
▲在B站搜索“强化学习”
● 李宏毅“深度强化学习”
相信大家对大名鼎鼎的“李宏毅机器学习”和“李宏毅深度学习”这两门课都不陌生，而这门“深度强化学习”同样出自这位李宏毅老师。他是台湾大学副教授，研究方向为机器学习、深度学习及语音识别与理解。
▲
B站上李宏毅老师的机器学习和深度学习的公开课都拥有很高的播放量
李宏毅老师的“深度强化学习”，不但包含的理论知识丰富全面，而且课堂上总是充满着欢声笑语。这是因为他能巧用许多有趣的例子来讲解强化学习理论。
比如他经常会用玩雅达利游戏的例子来讲解强化学习算法，这让晦涩难懂的强化学习理论变得通俗易懂，从而吸引了很多人把李宏毅老师的公开课当作入门教程。
▲B站上李宏毅老师的“深度强化学习”课程下的网友好评
● 周博磊“强化学习纲要”
周博磊老师是加州大学洛杉矶分校（UCLA）的助理教授，他的研究方向为机器感知和智能决策，在人工智能顶级会议和期刊发表了50余篇学术论文，论文总引用量超过1万次。
周博磊老师的这门课理论严谨、内容丰富，全面介绍了强化学习领域，并且有相关的代码实践，补足了李宏毅老师课程中代码和应用较少的遗憾。
▲
B站上周博磊老师的“强化学习纲要”课程下的网友好评
● 李科浇“世界冠军带你从零实践强化学习”
李科浇老师是飞桨强化学习PARL团队核心成员、百度高级研发工程师，她所在团队曾两度夺得神经信息处理系统大会（NeurIPS）强化学习赛事的冠军。
李科浇老师的这门课有一个特别突出的优点，就是实战性强，通篇课程使用大量的代码来讲解强化学习。
▲
B站上李科浇老师的“世界冠军带你从零实践强化学习”课程广受欢迎
这三门课学下来，不论是从理论、代码还是实际应用，基本能让学习者对强化学习有一个良好的把握。
02
“学完3门公开课后，我编写了一套入门教程，并得到了3位公开课老师的认可”
不过，视频课虽然便于学习，但是实时性很强，不如文字教程那样便于查找知识点。因此，小异便想，要是有一本配套教材该多好啊。
这样不仅能够学得更加全面，还能自行规划学习进度。令小异惊喜的是，万能的网友们真的推荐了这样一本宝书！
▲
B站网友推荐“目前见到过最好的李宏毅深度强化学习笔记”
这本宝书就是Datawhale开源学习组织在GitHub上发布的“蘑菇书Easy RL”。Datawhale就是去年出版了好评超高的“西瓜书的伴侣书”——“南瓜书”的团队，他们致力于AI领域的学习。
“蘑菇书Easy RL”也继承了“南瓜书”的高人气，在线上发布9个月的时间内，就获得了3.3k+的GitHub Star和1w+的下载。
▲“蘑菇书”获得了3.3k+的GitHub Star
根据作者王琦、杨毅远、江季的说明，“蘑菇书Easy RL”是他们在自学上述3门强化学习公开课的过程中，根据自身的理解整理优化得来的，其内容主要包括：
● 根据李宏毅老师的“深度强化学习”整理而来的策略梯度、近端策略优化、深度Q 网络、演员-评论员算法、稀疏奖励、模仿学习；
● 根据周博磊老师的“强化学习纲要”凝练而成的强化学习绪论、马尔可夫决策过程；
● 根据李科浇老师的“世界冠军带你从零实践强化学习”总结而来的表格型方法、深度确定性策略梯度；
● 作者原创的AlphaStar论文解读。
“蘑菇书Easy RL”的初稿完成后，为了更好地优化这套教程，三位作者还把它作为教材，组织了上百人的组队学习活动，不仅得到了一致好评，还根据学习者对于初版教程的上百次反馈，经历了1年多的开源协作修改，完成了这本书的优化，并以“Easy RL：强化学习教程”为名得到了出版，昵称“蘑菇书”。
“蘑菇书”《Easy RL：强化学习教程》
这本“蘑菇书”《Easy RL：强化学习教程》，因为是在权威且高好评的课程基础上，由众多“学习者”贡献而成的，因此特别符合学习的思路，非常适合初学者用于强化学习的入门。
学习者既可以在观看公开课的同时把它作为教辅使用，以深入理解并拓展公开课的内容，也可以将它作为独立教程进行学习。
不仅如此，这本书还得到了上面三门视频课老师的推荐！
“在认识本书编著者之前，我就已经在网络上注意到他们的教程“Easy-RL”，因为“Easy-RL”有部分内容改编自我在台湾大学开授的“深度强化学习”上课视频。当第一次看到“Easy-RL”时，我的第一个想法是：这群人把强化学习的知识整理得真好，不仅有理论说明，还加上了程序实例，同学们以后可以直接读这套教程，这样我上课也就不用再讲强化学习的部分了。很高兴王琦、杨毅远、江季三位编著者能够把“Easy-RL”以图书的形式出版。”
——李宏毅，
台湾大学副教授
“很欣喜三位编著者能整合和升华我与另外两位老师的强化学习公开课资料，编著出这本实用的强化学习入门教程。这本教程专注于强化学习理论与实践相结合，通过生动的例子和动手实践帮助读者深入理解各种算法。以强化学习为代表的机器智能决策是人工智能的重要方向之一，希望未来更多优秀的同学可以通过这本教程和强化学习的公开课，开启自己的研究之旅，实现类似于AlphaGo系列的开创性工作。”
——周博磊，
加利福尼亚大学洛杉矶分校(UCLA)助理教授
“还记得我当初自学强化学习的时候，中文资料少之又少，只能去啃国外的教材和论文；后来开设“世界冠军带你从零实践强化学习”这门公开课，也是期望可以为强化学习中文社区添砖加瓦；所以很开心国内的学生能自发地形成这种公开的、系统的强化学习中文入门课程笔记的整理、分享与社区讨论的氛围。看了“Easy-RL”仓库以及编著者发来的这本书第1章的内容，我发现这本书不仅是一个笔记合集，编著者有重点地梳理了理论，并配备了难度适中的习题实践和面试题供读者参考。我相信这本书的出版对于刚接触强化学习的学生，以及准备转行的在职人员都会有帮助。非常推荐强化学习初学者阅读它。”
——李科浇，
飞桨强化学习PARL团队核心成员，百度高级研发工程师
03
GitHub标星3.3k+的“学霸笔记”
——蘑菇书Easy RL
我们在上学的时候，都会希望能拥有一本学霸笔记，这样能让学习变得事半功倍。要是学霸还顺带帮你押了题，那简直如有神助！
小异认为“蘑菇书”《Easy RL：强化学习教程》就是一本很典型的“学霸笔记”，既有老师上课画的重点——3门公开课的精华内容，还有学霸凝练的精华和扩展的内容——作者们在大部分章末设置了原创的关键词、习题和面试题，并提供Python代码实现，帮助读者提高和巩固对所学知识的清晰度和掌握度。
● 内容系统全面，并通过关键词巩固学习
为了尽可能地降低阅读门槛，作者们在“蘑菇书”中对3门公开课的精华内容进行了选取和优化，对所涉及的公式给出了详细的推导过程，对较难理解的知识点进行了重点讲解和强化，以方便读者轻松入门。并且，为了丰富内容，书中还补充了不少3门公开课之外的强化学习相关知识。
“蘑菇书”全书共13章，分为两部分。第一部分介绍强化学习的基础知识以及传统强化学习算法，第二部分介绍深度强化学习算法及其常见问题的解决方法。
▲“蘑菇书”目录
内容虽多，但是作者们非常贴心地整理了强化学习中的大量关键词，总结了对应章节的重点概念，以方便读者高效地回忆并掌握核心内容。
▲原创关键词巩固学习
● 精选习题和面试题，助力大厂offer
“蘑菇书”还拓展了习题和面试题：
习题部分以问答的形式阐述了相应章中出现的知识点，帮助读者厘清知识脉络；
面试题部分的内容源于大厂的算法岗面试真题，通过还原真实的面试场景和面试问题，帮助读者开阔思路，助力大家面试理想的岗位。
▲精选习题和面试题，助力理想offer
并且作者还为大家准备了习题和面试题的电子版答案，有疑问也可以通过Datawhale和作者进行沟通答疑。
● 理论与应用结合，基于Python实现强化学习
强化学习是一个理论与实践相结合的学科，我们不仅要理解算法背后的原理，还要通过上机实践来实现算法，让理论知识得到实际的应用。
“蘑菇书”的作者深谙此道，精心为读者准备了强化学习的Python代码实现，并且源代码可以在购书后通过异步社区进行下载，让大家亲自动手实现各种经典的强化学习算法，通过实战更清晰地理解算法并快速应用。
▲案例生动形象，描述深入浅出，代码简洁易懂，注释详细
强化学习之路道阻且长，就让这本从学习者角度出发、受到众多专家联合力荐的强化学习落地指南《Easy RL：强化学习教程》带大家像采蘑菇一样轻松学会强化学习吧！
文章编辑：罗梦婷、Gong 审校：Gong、刘鑫
参考来源：
《Easy RL：强化学习教程》前言、第一章
异步社区
https://xintu.nature.com/articles/s41586-021-04301-9
https://xintu.wired.com/story/deepmind-ai-nuclear-fusion/
推荐阅读
▲点击封面，进入购买界面
《Easy RL 强化学习教程》
强化学习作为机器学习及人工智能领域的一种重要方法，在游戏、自动驾驶、机器人路线规划等领域得到了广泛的应用。
本书结合了李宏毅老师的“深度强化学习”、周博磊老师的“强化学习纲要”、李科浇老师的“世界冠军带你从零实践强化学习”公开课的精华内容，在理论严谨的基础上深入浅出地介绍马尔可夫决策过程、蒙特卡洛方法、时序差分方法、Sarsa、Q 学习等传统强化学习算法，以及策略梯度、近端策略优化、深度Q 网络、深度确定性策略梯度等常见深度强化学习算法的基本概念和方法，并以大量生动有趣的例子帮助读者理解强化学习问题的建模过程以及核心算法的细节。
此外，本书还提供较为全面的习题解答以及Python 代码实现，可以让读者进行端到端、从理论到轻松实践的全生态学习，充分掌握强化学习算法的原理并能进行实战。
本书适合对强化学习感兴趣的读者阅读，也可以作为相关课程的配套教材。
