Python强化学习：算法、核心技术与行业应用 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

本书使用受现实世界商业和行业问题启发的实际示例来讲授强化学习技术的相关知识。本书分为四部分：部分涵盖强化学习的必要背景，包括定义、数学基础和强化学习解决方案的概述；第二部分深入介绍先进的强化学习算法（规模化的深度Q-学习、基于策略的方法、基于模型的方法、多智能体强化学习等），包括每种算法的优缺点；第三部分介绍强化学习中的高级技术，包括机器教学、泛化和域随机化、元强化学习等主题，还涵盖强化学习中有助于改进模型的各种高级主题；第四部分讲解强化学习的各种应用，例如自主系统、供应链管理、营销和金融、智慧城市与网络安全等，并讨论强化学习领域的一些挑战及未来方向。学完本书，你将掌握如何训练和部署自己的强化学习智能体来解决强化学习问题。

目　　录

译者序

前言

作者简介

审校者简介

第一部分　强化学习基础

第1章　强化学习简介  2

1.1　为什么选择强化学习  2

1.2　机器学习的三种范式  3

1.2.1　监督学习  3

1.2.2　无监督学习  4

1.2.3　强化学习  4

1.3　强化学习应用领域和成功案例  5

1.3.1　游戏  6

1.3.2　机器人技术和自主系统  7

1.3.3　供应链  8

1.3.4　制造业  8

1.3.5　个性化和推荐系统  9

1.3.6　智慧城市  9

1.4　强化学习问题的元素  10

1.4.1　强化学习概念  10

1.4.2　将井字棋游戏建模为强化学习问题  11

1.5　设置强化学习环境  12

1.5.1　硬件要求  12

1.5.2　操作系统  13

1.5.3　软件工具箱  13

1.6　总结  14

1.7　参考文献  15

第2章　多臂老虎机  17

2.1　探索–利用权衡  17

2.2　什么是多臂老虎机问题  18

2.2.1　问题定义  18

2.2.2　一个简单多臂老虎机问题的实验  19

2.3　案例研究：在线广告  22

2.4　A/B/n测试  23

2.4.1　符号  23

2.4.2　应用于在线广告场景  24

2.4.3　A/B/n测试的优缺点  27

2.5　ε-贪心策略行动  27

2.5.1　应用于在线广告场景  27

2.5.2　ε-贪心策略行动的优缺点  29

2.6　使用置信上界进行行动选择  30

2.6.1　应用于在线广告场景  30

2.6.2　使用置信上界的优缺点  32

2.7　汤普森（后）采样  33

2.7.1　应用于在线广告场景  33

2.7.2　汤普森采样的优缺点  36

2.8　总结  36

2.9　参考文献  36

第3章　上下文多臂老虎机  37

3.1　为什么我们需要函数近似  37

3.2　对上下文使用函数近似  38

3.2.1　案例研究：使用合成用户数据的上下文在线广告  39

3.2.2　使用正则化逻辑斯谛回归的函数近似  42

3.2.3　目标函数：悔值最小化  45

3.2.4　解决在线广告问题  46

3.3　对行动使用函数近似  50

3.3.1　案例研究：使用来自美国人口普查的用户数据的上下文在线广告  51

3.3.2　使用神经网络进行函数近似  55

3.3.3　计算悔值  57

3.3.4　解决在线广告问题  57

3.4　多臂老虎机和上下文老虎机的其他应用  59

3.4.1　推荐系统  59

3.4.2　网页/应用程序功能设计  60

3.4.3　医疗保健  60

3.4.4　动态定价  60

3.4.5　金融  60

3.4.6　控制系统调整  60

3.5　总结  61

3.6　参考文献  61

第4章　马尔可夫决策过程的制定  63

4.1　马尔可夫链  63

4.1.1　具有马尔可夫性的随机过程  63

4.1.2　马尔可夫链中的状态分类  65

4.1.3　转移和稳态行为  66

4.1.4　示例：网格世界中的n-步行为  67

4.1.5　示例：一个可遍历马尔可夫链中的样本路径  69

4.1.6　半马尔可夫过程和连续时间马尔可夫链  70

4.2　引入奖励：马尔可夫奖励过程  70

4.2.1　将奖励附加到网格世界示例  71

4.2.2　不同初始化的平均奖励之间的关系  72

4.2.3　回报、折扣和状态值  72

4.2.4　解析式地计算状态值  73

4.2.5　迭代式地估计状态值  74

4.3　引入行动：马尔可夫决策过程  75

4.3.1　定义  75

4.3.2　网格世界作为马尔可夫决策过程  76

4.3.3　状态值函数  77

4.3.4　行动值函数  77

4.3.5　最优状态值和行动值函数  78

4.3.6　贝尔曼最优性  78

4.4　部分可观测的马尔可夫决策过程  79

4.5　总结  80

4.6　练习  80

4.7　参考文献  81

第5章　求解强化学习问题  82

5.1　探索动态规划  82

5.1.1　示例用例：食品卡车的库存补充  82

5.1.2　策略评估  85

5.1.3　策略迭代  90

5.1.4　值迭代  94

5.1.5　动态规划方法的缺点  95

5.2　用蒙特卡罗法训练智能体  96

5.2.1　蒙特卡罗预测  97

5.2.2　蒙特卡罗控制  104

5.3　时间差分学习  111

5.3.1　一步时间差分学习  112

5.3.2　n-步时间差分学习  117

5.4　了解模拟在强化学习中的重要性  117

5.5　总结  118

5.6　练习  119

5.7　参考文献  119

第二部分　深度强化学习

第6章　规模化的深度Q-学习  122

6.1　从表格型Q-学习到深度Q-学习  122

6.1.1　神经网络拟合的Q-迭代  123

6.1.2　在线Q-学习  127

6.2　深度Q网络  128

6.2.1　DQN中的关键概念  128

6.2.2　DQN算法  129

6.3　DQN扩展：Rainbow  130

6.3.1　扩展  130

6.3.2　集成智能体的性能  134

6.3.3　如何选择使用哪些扩展：Rainbow的消融实验  134

6.3.4　“死亡三组合”发生了什么变化  135

6.4　分布式深度Q-学习  135

6.4.1　分布式深度Q-学习架构的组成部分  136

6.4.2　通用强化学习架构：Gorila  136

6.4.3　分布式优先级经验重放：Ape-X  137

6.5　使用Ray实现可扩展的深度Q-学习算法  140

6.5.1　Ray入门  140

6.5.2　DQN变体的Ray实现  143

6.6　使用RLlib实现生产级深度强化学习算法  154

6.7　总结  156

6.8　参考文献  156

第7章　基于策略的方法  158

7.1　为什么我们应该使用基于策略的方法  158

7.1.1　一种更本质的方法  158

7.1.2　适用连续行动空间的能力  158

7.1.3　学习到真正随机策略的能力  159

7.2　一般性策略梯度方法  160

7.2.1　策略梯度方法的优化目标  160

7.2.2　计算梯度  161

7.2.3　REINFORCE算法  162

7.2.4　REINFORCE以及所有策略梯度方法存在的问题  163

7.2.5　使用RLlib实现一般性策略梯度方法  164

7.3　Actor-Critic算法  167

7.3.1　进一步减小策略梯度方法的方差  167

7.3.2　优势Actor-Critic算法：A2C  169

7.3.3　异步优势Actor-Critic算法：A3C  171

7.3.4　一般性优势函数估计  172

7.4　信任域方法  173

7.4.1　将策略梯度转化为策略迭代  173

7.4.2　TRPO  176

7.4.3　PPO  177

7.5　异策略方法  179

7.5.1　DDPG  179

7.5.2　TD3  181

7.5.3　SAC  182

7.5.4　IMPALA  182

7.6　Lunar Lander环境中基于策略的方法的比较  183

7.7　如何选择正确的算法  184

7.8　策略梯度方法的开源实现  185

7.9　总结  185

7.10　参考文献  186

第8章　基于模型的方法  187

8.1　技术要求  187

8.2　引入基于模型的方法  187

8.3　通过模型进行规划  188

8.3.1　定义最优控制问题  188

8.3.2　随机射击  190

8.3.3　交叉熵方法  192

8.3.4　协方差矩阵自适应进化策略  195

8.3.5　蒙特卡罗树搜索  196

8.4　学习世界模型  197

8.4.1　理解模型的含义  197

8.4.2　确定何时学习模型  198

8.4.3　引入学习模型的一般过程  198

8.4.4　理解和缓解模型不确定性的影响  199

8.4.5　从复杂的观测中学习模型  200

8.5　统一基于模型的和无模型的方法  201

8.5.1　复习Q-学习  201

8.5.2　使用世界模型对无模型方法进行Dyna式加速  201

8.6　总结  202

8.7　参考文献  202

第9章　多智能体强化学习  204

9.1　多智能体强化学习介绍  204

9.2　探索多智能体强化学习中存在的挑战  207

9.2.1　非平稳性  207

9.2.2　可扩展性  207

9.2.3　不明确的强化学习目标  208

9.2.4　信息共享  208

9.3　在多智能体环境中训练策略  208

9.3.1　RLlib多智能体环境  209

9.3.2　竞争自博弈  210

9.4　通过自博弈来训练井字棋智能体  211

9.4.1　设计多智能体井字棋环境  212

9.4.2　配置训练器  213

9.4.3　观测结果  214

9.5　总结  215

9.6　参考文献  215

第三部分　强化学习中的高级主题

第10章　机器教学  218

10.1　技术要求  218

10.2　机器教学简介  218

10.2.1　理解机器教学的需求  219

10.2.2　探索机器教学的要素  222

10.3　设计奖励函数  223

10.3.1　何时设计奖励函数  224

10.3.2　奖励塑造  225

10.3.3　示例：山地车的奖励塑造  228

10.3.4　设计奖励函数面临的挑战  230

10.4　课程表学习  231

10.5　热启动和演示学习  233

10.6　行动掩蔽  234

10.7　概念网络  235

10.8　机器教学的缺点和承诺  236

10.9　总结  236

10.10　参考文献  236

第11章　泛化和域随机化  238

11.1　泛化和部分可观测性概述  238

11.1.1　监督学习中的泛化和过拟合  238

11.1.2　强化学习中的泛化和过拟合  239

11.1.3　泛化与部分可观测性之间的联系  239

11.1.4　用记忆克服部分可观测性  240

11.1.5　通过随机化克服过拟合  241

11.1.6　泛化的技巧  241

11.2　用于泛化的域随机化  241

11.2.1　随机化的维度  242

11.2.2　量化泛化  243

11.2.3　正则化和网络架构对强化学习策略泛化的影响  245

11.2.4　网络随机化和特征匹配  248

11.2.5　用于泛化的课程表学习  249

11.2.6　Sunblaze环境  252

11.3　使用记忆来克服部分可观测性  252

11.3.1　堆叠观测  252

11.3.2　使用RNN  253

11.3.3　Transformer架构  255

11.4　总结  256

11.5　参考文献  256

第12章　元强化学习  257

12.1　元强化学习简介  257

12.1.1　学会学习  257

12.1.2　定义元强化学习  258

12.1.3　动物学习和Harlow实验的关系  258

12.1.4　部分可观测性和域随机化的关系  259

12.2　具有循环策略的元强化学习  260

12.2.1　网格世界示例  260

12.2.2　RLlib实现  261

12.3　基于梯度的元强化学习  262

12.4　元强化学习作为部分观测强化学习  264

12.5　元强化学习中的挑战  264

12.6　总结  264

12.7　参考文献  265

第13章　其他高级主题  266

13.1　分布式强化学习  266

13.1.1　可扩展且高效的深度强化学习：SEED RL  266

13.1.2　分布式强化学习中的循环经验重放  269

13.1.3　实验SEED RL和R2D2  272

13.2　好奇心驱动的强化学习  273

13.2.1　针对硬探索问题的好奇心驱动的学习  273

13.2.2　好奇心驱动的强化学习中的挑战  275

13.2.3　NGU  275

13.2.4　Agent57改进  278

13.3　离线强化学习  278

13.3.1　离线强化学习工作原理的概述  278

13.3.2　为什么我们需要用于离线学习的特殊算法  279

13.3.3　为什么离线强化学习至关重要  279

13.3.4　AWAC  280

13.3.5　离线强化学习基准  281

13.4　总结  281

13.5　参考文献  281

第四部分　强化学习的应用

第14章　自主系统  284

14.1　PyBullet  284

14.2　熟悉 KUKA环境  285

14.2.1　使用KUKA机器人抓取矩形块  286

14.2.2　KUKA Gym环境  286

14.3　制定解决KUKA环境的策略  287

14.4　使用课程表学习训练KUKA机器人  288

14.4.1　定制课程表学习环境  288

14.4.2　设计课程表中的课程  290

14.4.3　使用手动设计的课程表训练智能体  291

14.4.4　使用绝对学习进度的课程表学习  292

14.4.5　对比实验结果  294

14.5　超越PyBullet进入自动驾驶领域  295

14.6　总结  296

14.7　参考文献  296

第15章　供应链管理  297

15.1　优化库存采购决策  297

15.2　建模路由问题  310

15.3　总结  312

15.4　参考文献  313

第16章　营销、个性化和金融  314

16.1　超越老虎机进行个性化  314

16.2　使用强化学习制定有效的营销策略  318

16.3　在金融中应用强化学习  319

16.4　总结  323

16.5　参考文献  323

第17章　智慧城市与网络安全  324

17.1　交通灯控制以优化车流量  324

17.2　为电网提供辅助服务  331

17.3　检测智能电网中的网络攻击  336

17.4　总结  337

17.5　参考文献  337

第18章　强化学习领域的挑战和未来方向  339

18.1　你从本书中得到的收获  339

18.2　挑战和未来方向  340

18.3　对有抱负的强化学习专家的建议  344

18.4　结束语  347

18.5　参考文献  347

埃内斯·比尔金 （Enes Bilgin） 微软自主系统部门的高级人工智能工程师和技术主管。他是一名机器学习与运筹学从业者和研究员，在使用Python、TensorFlow和Ray/RLlib为顶级科技公司构建生产系统和模型方面拥有丰富的经验。他拥有波士顿大学系统工程硕士学位和博士学位，以及比尔肯特大学工业工程学士学位。他曾在亚马逊担任研究科学家，并在AMD担任过运筹学研究科学家，还在得克萨斯大学奥斯汀分校的麦库姆斯商学院和得克萨斯州立大学的英格拉姆工程学院担任过兼职教师。 

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：Python强化学习：算法、核心技术与行业应用在线阅读

在线听书地址：Python强化学习：算法、核心技术与行业应用在线收听

在线购买地址：Python强化学习：算法、核心技术与行业应用在线购买

暂无原文赏析，正在全力查找中！

编辑推荐

强化学习(RL)是用于创建自学习自主智能体的人工智能方法。本书基于强大的理论基础，采用实用的方法来研究强化学习，并使用受现实世界中商业和行业问题启发的实际示例来教授先进的强化学习知识。

本书首先介绍老虎机问题、马尔可夫决策过程和动态规划，带你深入了解经典强化学习技术，包括蒙特卡罗方法和时间差分学习方法。然后，你将了解深度Q-学习、策略梯度方法、Actor-Critic算法、基于模型的方法以及多智能体强化学习。接下来，本书将介绍一些成功的强化学习实现背后的关键方法，例如，域随机化和好奇心驱动的强化学习。

随着学习的深入，你将使用现代Python库（例如，TensorFlow和Ray的RLlib包）探索许多具有高级实现的新颖算法。你还将了解如何在机器人、供应链管理、市场营销、金融、智慧城市与网络安全等领域应用强化学习技术，同时评估不同方法的利弊并避免常见的陷阱。

学完本书，你将掌握如何训练和部署自己的强化学习智能体来解决强化学习问题。通过阅读本书，你将：

 使用强化学习建模并解决复杂的序贯决策问题。

 深入了解先进的强化学习方法的工作原理。

 使用Python和TensorFlow从头开始编写强化学习算法。

 使用Ray的RLlib包并行化强化学习实现，以及扩展强化学习实现。

 深入了解各种强化学习主题。

 了解不同强化学习方法之间的利弊。

 发现并解决在现实世界中实现强化学习的挑战。

前言

Preface

前　　言

强化学习（RL）是用于创建自学习自主智能体的人工智能方法。本书采用实用的方法来研究强化学习，并使用受现实世界中商业和行业问题启发的实际示例来教授先进的强化学习知识。

首先，简要介绍强化学习元素，你将掌握马尔可夫链和马尔可夫决策过程，它们构成了对强化学习问题建模的数学基础。然后，你将了解用于解决强化学习问题的蒙特卡罗（Monte Carlo）方法和时间差分（Temporal Difference，TD）学习方法。接下来，你将了解深度Q-学习（或Q学习）、策略梯度算法、行动器–评论器（actor-critic）方法、基于模型的方法以及多智能体强化学习。随着学习的深入，你将使用现代Python库深入研究许多具有高级实现的新颖算法，还将了解如何实现强化学习来解决诸如自主系统、供应链管理、游戏、金融、智慧城市和网络安全等领域所面临的现实挑战。后，你将清楚地了解使用哪种方法及何时使用，如何避免常见的陷阱，以及如何应对实现强化学习时所面临的挑战。

读完本书，你将掌握如何训练和部署自己的强化学习智能体来解决强化学习问题。

目标读者

本书适用于希望在实际项目中实现高级强化学习概念的专业机器学习从业者和深度学习研究人员。本书也适合那些希望通过自学习智能体解决复杂的序贯决策问题的强化学习专家。阅读本书需要读者具备Python编程、机器学习和强化学习方面的知识和使用经验。

本书涵盖的内容

第1章介绍强化学习，首先着眼于强化学习在行业中的应用给出一些激励示例和成功案例，然后给出基本定义，让你对强化学习概念有新的认识，后介绍强化学习环境的软件和硬件设置。

第2章介绍一个相当简单的强化学习设置，即没有上下文的多臂老虎机问题，它作为传统A/B测试的替代方案，在业界应用广泛。该章还介绍了一个非常基本的强化学习概念：探索–利用。我们还用4种不同的方法解决了一个在线广告案例原型问题。

第3章通过在决策过程中添加上下文并让深度神经网络参与决策，更深入地讨论多臂老虎机（Multi-Armed Bandit，MAB）问题，并将来自美国人口普查的真实数据集用于在线广告问题。后介绍多臂老虎机问题在工业和商业中的应用。

第 4 章讨论建模强化学习问题的数学理论。首先介绍马尔可夫链，包括状态类型、可遍历性、转移和稳态行为。然后介绍马尔可夫奖励过程和决策过程，涵盖回报、折扣、策略、值函数和贝尔曼优性等强化学习理论中的关键概念。后讨论部分可观测的马尔可夫决策过程。我们使用一个网格世界的例子贯穿本章来说明这些概念。

第 5 章介绍动态规划方法，这是理解如何解决马尔可夫决策过程（MDP） 的基础。该章还会阐释策略评估、策略迭代和值迭代等关键概念。我们使用一个示例贯穿本章来解决库存补充问题。后讨论在实践中使用动态规划方法求解强化学习存在的问题。

第 6 章介绍深度强化学习，并涵盖端到端规模化的深度Q-学习。我们首先讨论为什么需要深度强化学习。然后介绍 RLlib（一个流行且可扩展的强化学习库）。我们构建了从拟合Q- 迭代到DQN（Deep Q-Network）再到 Rainbow 的深度Q-学习方法。后深入探讨分布式 DQN（Ape-X）等更高级的主题，并讨论要调整的重要超参数。对于经典 DQN，我们将用 TensorFlow实现；对于Rainbow，我们将使用RLlib实现。

第7章介绍另一种重要的强化学习方法：基于策略的方法。你将首先了解它们有何不同以及为什么需要它们。然后，我们将详细介绍几种先进的策略梯度和信任域方法。后介绍Actor-Critic算法。我们主要介绍这些算法的RLlib实现，这里并不是给出冗长的实现细节，而是关注如何以及何时使用它们。

第8章展示基于模型的方法做出了哪些假设，以及它们与其他方法相比有哪些优势。然后讨论著名的 AlphaGo Zero 背后的模型。后给出一个使用基于模型的算法的练习。该章混合使用了手动实现和 RLlib 实现。

第9章介绍一个建模多智能体强化学习问题的框架。

第10章讨论将复杂问题分解成更小部分并使其可解决的机器教学方法。这种方法对于解决许多现实生活中的问题是必要的，你将学习关于如何设计强化学习模型的实用技巧和窍门，并超越算法选择来解决强化学习问题。

第11章介绍为什么部分可观测性和 sim2real 差距是一个问题，以及如何使用类LSTM（长短期记忆） 的模型泛化和域随机化来解决这些问题。

第12章介绍允许我们将单个模型用于多个任务的方法。样本效率是元强化学习中的一个主要问题，该章将向你展示元强化学习中一个非常重要的未来方向。

第13章介绍前沿的强化学习研究。到目前为止讨论的许多方法都有某些假设和限制，该章讨论的主题就解决这些限制给出了相关建议。在该章结束时，你将了解当遇到前几章中介绍的算法的限制时应该使用哪些方法。

第14章介绍强化学习在创建现实自主系统方面的潜力。该章涵盖自主机器人和自动驾驶汽车的成功案例。

第15章介绍库存计划和车辆路径优化问题的实践经验。我们将它们建模为强化学习问题并给出解决案例。

第16章涵盖强化学习在营销、广告、推荐系统和金融中的应用。该章让你广泛了解如何在业务中使用强化学习，以及机会和限制是什么。在该章中，我们还将讨论上下文多臂老虎机问题的示例。

第17章涵盖智慧城市和网络安全领域的问题，例如，交通控制、服务提供监管和入侵检测。我们还会讨论如何在这些应用程序中使用多智能体方法。

第18章详细介绍强化学习领域的挑战是什么以及克服这些挑战的前沿研究建议和未来方向。该章教你如何评估强化学习方法对给定问题的可行性。

下载示例代码文件

本书的代码包托管在 GitHub 上，地址为 https://github.com/PacktPublishing/

Mastering-Reinforcement-Learning-with-Python。如果代码有更新，我们将在现有的 GitHub 代码库中更新。

下载彩色图像

我们还提供了一个 PDF 文件，其中包含本书中使用的屏幕截图/图表的彩色图像，可以从https://static.packt-cdn.com/downloads/9781838644147_ColorImages.pdf下载。

本书约定

本书中使用了以下约定。

文本中的代码：表示文本中的代码字、数据库表名称、文件夹名称、文件名、文件扩展名、路径名、虚拟 URL、用户输入等。示例如下：“安装 NVIDIA Modprobe，例如，对于 Ubuntu，使用sudo apt-get install nvidia-modprobe。”

一段代码如下所示：

当我们希望你注意代码块的特定部分时，相关的行或项目以粗体显示：

提示或重要说明

以文本框形式出现。