书:pan.baidu.com/s/151xVguoGwyBrGk5X9ygFKg?pwd=3l6c
- Q-learning与深度Q网络（DQN）：
- Q-learning是一种经典的强化学习算法，通过迭代更新状态-动作值函数（Q函数）来学习最优策略。
- 深度Q网络（DQN）将Q-learning与深度学习相结合，使用神经网络来近似Q函数，从而能够处理高维状态空间。
- 策略梯度方法：
- 策略梯度方法直接对策略进行参数化，并通过梯度上升来优化策略参数，以最大化累积奖励。
- 这种方法可以处理连续动作空间，并且不需要像Q-learning那样维护一个显式的Q函数。
- Actor-Critic方法：
- Actor-Critic方法结合了策略梯度和值函数的方法，其中Actor负责生成动作概率，而Critic则负责估计状态或动作状态值，以帮助Actor更新策略。
- 这种方法具有较小的方差和较快的收敛速度。
- 异步优势Actor-Critic（A3C）：
- A3C是一种多线程的强化学习算法，它使用多个工作线程来并行地收集经验和更新模型。
- 通过这种方式，A3C可以更快地探索环境并学习最优策略。
- 近端策略优化（PPO）：
- PPO是一种策略梯度算法的改进版，它通过在更新策略时施加一个约束来避免过大的策略变化。
- 这种约束有助于保持策略的稳定性，并提高训练效率。
- 交叉熵方法：
- 交叉熵方法是一种基于概率模型的优化算法，它通过最小化预测分布与实际分布之间的交叉熵来更新策略。
- 在强化学习中，交叉熵方法可以用于策略改进和策略搜索。
- 表格学习和Bellman方程：
- 表格学习是一种简单但有效的强化学习方法，它使用表格来存储状态-动作值或状态值。
- Bellman方程是强化学习中的核心方程，它描述了状态值或动作状态值之间的递推关系。
- 价值迭代与策略迭代：
- 价值迭代和策略迭代是两种基于动态规划的强化学习算法。
- 价值迭代通过迭代更新状态值来学习最优策略，而策略迭代则通过迭代更新策略和状态值来学习最优策略。
- 探索与利用：
- 探索是利用未知信息来发现更好的策略的过程，而利用则是根据已知信息来选择最优策略的过程。
- 在强化学习中，平衡探索和利用是一个重要的问题，因为它关系到智能体能否在有限的时间内学习到最优策略。
- 模拟环境与实时训练：
- 强化学习通常需要在模拟环境中进行训练，以便智能体可以在没有实际风险的情况下学习。
- 实时训练则是指将训练好的模型部署到实际环境中进行在线学习和优化。
这些关键技术共同构成了深度强化学习的核心框架，使得智能体能够在复杂环境中学习到最优策略。请注意，以上归纳可能并不完全涵盖书中的所有内容，但代表了深度强化学习实践中的一些关键技术和方法。