FRIGIDWINTER的博客

【专栏订阅必读】ChatGPT强大魔力的关键因素之一是应用了强化学习模型，本文系统梳理强化学习中环境、智能体、奖赏、动作、状态等关键概念，并给出深度强化学习框架。

强化学习是在潜在的不确定复杂环境中，训练一个最优决策指导一系列行动实现目标最优化的机器学习方法。自从AlphaGo的横空出世之后，确定了强化学习在人工智能领域的重要地位，越来越多的人加入到强化学习的研究和学习中。OpenAI Gym是一个研究和比较强化学习相关算法的开源工具包，包含了许多经典的仿真环境(各种游戏)，兼容常见的数值运算库，使用户无需过多了解游戏的内部实现，通过简单地调用就可以用来测试和仿真。OpenAI GymGym开源库：测试仿真环境，这些环境有一个公共的接口且允许用户设计通用的算法。

本文详解单步强化学习的理论模型K摇臂赌博机，引出强化学习中仅利用和仅探索的思想。最后介绍ϵ-贪心算法和softmax算法并给出Python实现，以及各个算法间的对比

策略评估是给定一个策略计算策略评估函数的过程，用于衡量策略的好坏。本文从一个例子引出回报与奖赏的概念，并由浅入深推导贝尔曼期望方程，最后给出了收敛性证明，为强化学习的策略评估提供理论保证

贝尔曼期望方程用于策略评估，那么我们如何借助贝尔曼方程改进策略呢？本节从理论层面推导贝尔曼最优方程和策略改进定理，介绍策略迭代和价值迭代两种算法流程

在现实的强化学习任务中，转移概率、奖赏函数甚至环境中存在哪些状态往往很难得知，因此引入免模型学习。蒙特卡洛强化学习是免模型学习中的一种，本文介绍蒙特卡洛强化学习中的策略评估原理，以及同轨和离轨策略改进原理，给出详细的公式推导

本文介绍另一种免模型学习技术——时序差分强化学习，结合策略评估原理以及常见的SARSA和Q-Learning算法，给出详细的公式推导加深理解

深度Q网络DQN的核心原理是通过经验回放池和目标网络技术拟合高维状态空间，是Q-Learning算法的深度学习版本，本文分析DQN的基本算法，并给出训练实例和实际案例

无论Q-Learning还是DQN都存在过估计(overestimation)现象，过估计会导致智能体倾向于选择被高估的动作，可能陷入局部最优策略，降低学习效率和最终性能。本文通过一个案例和公式推导详细阐述了过估计现象产生的原因，并介绍了缓解过估计现象的DQN改进版本DDQN算法，提供了Pytorch实现以及在CartPole-v1任务的训练表现加深理解

软性演员-评论家(Soft Actor-Critic, SAC)算法是基于最大熵原理的离线策略方法，具有高效的采样效率和泛化能力。本文从最大熵贝尔曼方程的引入动机出发，介绍SAC算法的三个核心参数化步骤与算法流程

软性演员-评论家(Soft Actor-Critic, SAC)算法是基于最大熵原理的离线策略方法，本节将基于深度强化学习中的SAC算法实现移动机器人的路径跟踪，介绍网络设计、动作空间设计和奖励函数设计，并提供Pytorch实现加深理解

在Flappy Bird中，玩家需要通过控制小鸟安全穿过随机长度的水管来得分。本文基于深度Q网络DQN来实现Flappy Bird游戏的自主探索与学习

在机器人走迷宫中，机器人需要避开所有障碍从起点到达终点。本文基于Q-Learning来实现机器人走迷宫游戏的自主探索与学习