外观
数学基础速查
一句话定位：这一页把 RL 真正用到的数学讲清楚——期望、条件期望、马尔可夫链、动态规划原理、随机近似、KL 散度与熵，每一条数学概念都配上"它在哪个算法里、用来干什么"，读完你不会再因为"数学不好"而读不懂论文。
一、数学是工具，不是门槛
先破除两个常见误解：
- 误解一："RL 全是数学，数学不好学不了。" 实际上，主流 RL 算法（DQN、PPO、SAC）的数学就建立在六块砖上：期望、条件期望、方差、马尔可夫链、随机近似、KL 散度。这六块都是本科低年级内容，本页就能给你补齐。
- 误解二："数学不用学，会调库就行。" 在 RL 里这条路走不通——因为 RL 的"库"（框架）不负责解决你的数学错误：训练发散时你要判断是自举（bootstrap）不稳定还是步长太大，调参时要知道为什么 GAE 的 λ 和折扣 γ 在打架。这些判断没有数学直觉做不出来。
使用方式
本页是"字典 + 速查表"，不是教材。遇到不懂的公式先来查"直觉"一列；想深入再按文末自学资源系统学。每节末尾的表格回答同一个问题：这条数学在 RL 的哪个环节出现过？
二、概率：期望、条件期望与方差
1. 期望（Expectation）
随机变量 X 的期望是"按概率加权的平均"：
离散：E[X] = Σ x · P(X=x)
连续：E[X] = ∫ x · p(x) dx直觉：做了无数次实验后，样本平均会收敛到期望（大数定律）。RL 里几乎所有量都是期望：价值函数 V(s) 是"从 s 出发的期望回报"，策略的目标 J(θ) 是"期望总回报"。
期望的线性性是最常用的性质，它让"期望回报"可以被拆解：
E[aX + bY] = a·E[X] + b·E[Y]→ 所以"回报的期望"可以逐项求和（不需要知道项之间是否独立），这支撑了价值函数的分解。
2. 条件期望（Conditional Expectation）
给定信息 Y=y 后 X 的期望，记为 E[X|Y=y]。直觉："知道了 Y 之后，你对 X 的最优预测。"
全期望定律（law of total expectation）是贝尔曼方程的灵魂：
E[X] = E[ E[X|Y] ]即"先按 Y 分类求期望，再对类别求平均"。贝尔曼方程就是这样写出来的：从状态 s 出发的价值，等于"对动作 a 求平均（内层）再对所有下一步状态求平均（外层）"：
V_π(s) = Σ_a π(a|s) Σ_{s′,r} p(s′,r|s,a) [ r + γ·V_π(s′) ]→ 这条公式正是"回报期望的递归定义"，详细推导见马尔可夫决策过程。
3. 方差与偏差-方差权衡
Var[X] = E[X²] − (E[X])²方差度量"估计值抖不抖"，偏差（bias）度量"估计值准不准"。RL 算法家族的分野很大程度就来自这个权衡：
- 蒙特卡洛（MC）：用整回合真实回报估计价值 → 无偏，但方差巨大（每回合随机性累积）。
- 时序差分（TD）：用"奖励 + 对下一步价值的估计" → 有偏（下一步估计不准），但方差小。
这个权衡不是玄学：MC 用的是"随机变量的真实样本"，TD 用的是"随机变量的部分真实样本 + 部分猜测"。详见价值学习。
4. 这条数学在哪个算法出现
| 数学概念 | 在 RL 里的用途 | 出现的算法 |
|---|---|---|
| 期望的线性性 | 回报可拆成逐项期望 | 所有算法的推导 |
| 全期望定律 | 贝尔曼方程、TD 目标 | MDP 求解、TD、DQN |
| 条件期望 | 状态价值 = 对动作求条件期望 | 所有基于价值的算法 |
| 方差 | 解释 MC 高方差 / TD 低方差 | MC vs TD 对比 |
| 偏差-方差权衡 | 选择 MC / TD / GAE λ | 价值学习、策略梯度 |
5. 大数定律与中心极限定理：为什么"多采样"就有用
两个常被忽略、却解释 RL 工程直觉的定理：
- 大数定律：独立同分布样本的均值收敛到期望。→ MC 方法用足够多回合的平均回报逼近真实价值，就是大数定律在背书。
- 中心极限定理：大量独立随机变量之和近似正态，均值估计的波动按 1/√n 收缩。→ 解释了"样本翻 4 倍，估计误差才减半"：RL 里的样本效率瓶颈不是玄学，而是统计学基本规律。
工程含义：你很难"靠加环境并行数"线性地提高策略质量——回报是随机变量，方差在那里，必须靠算法本身降方差（advantage、GAE、baseline 都是干这个的），而不是无限堆样本。这也是样本效率成为 RL 核心指标的原因。
三、马尔可夫链：转移矩阵与平稳分布
1. 转移矩阵
马尔可夫链是"无记忆"的随机过程：下一个状态只依赖当前状态。把状态转移概率写成矩阵 P，P[i][j] = P(下一状态 = j | 当前状态 = i)。
行向量 π_t 表示第 t 步的状态分布，则：
π_{t+1} = π_t · P直觉：状态分布像水流一样沿转移矩阵"流动"。
2. 平稳分布
在温和条件下（不可约、非周期、有限状态），无论从哪出发，π_t 都会收敛到一个不再变化的分布 π*，满足：
π* = π* · P这个 π* 叫平稳分布，它度量"长期来看，系统停留在每个状态的比例"。注意它和 MDP 的价值函数是两回事，但数学结构（不动点）完全相同——都是方程 x = f(x) 的解。
3. 在 RL 里有什么用
- 收敛直觉：Q-learning 和 TD 为什么能收敛？直观上，它们在"像马尔可夫链一样被反复迭代"，最终逼近不动点；证明走的是收缩映射（contraction mapping）路线。
- 策略梯度里的"占据测度"：策略梯度定理中出现的 d^π(s)（在策略 π 下访问状态 s 的长期频率）就是一个平稳分布。
- 踩坑点：MDP 的转移函数 P(s′|s,a) 依赖动作，所以是"条件马尔可夫链"；把环境当作无动作马尔可夫链分析（例如把回报分布当稳态分布）是常见的概念错误。
4. 这条数学在哪个算法出现
| 数学概念 | 在 RL 里的用途 | 出现的算法 |
|---|---|---|
| 转移矩阵 | 定义环境动态 P(s′|s,a) | MDP 建模 |
| 平稳分布 | 策略梯度定理中的状态分布 d^π | 策略梯度 |
| 不动点 / 收缩映射 | 证明价值迭代、Q-learning、TD 收敛 | 动态规划、Q-learning、TD |
| 遍历性 | 保证 MC 采样覆盖所有状态 | 蒙特卡洛方法 |
四、动态规划：贝尔曼最优性原理
1. 最优性原理
贝尔曼（1957）的核心洞察："整体最优的策略，其每一段子决策也必然是最优的。" 数学上写成递归关系：
V*(s) = max_a Σ_{s′,r} p(s′,r|s,a) [ r + γ·V*(s′) ]这个方程称为贝尔曼最优方程。它把"无限时序的全局优化"化成了"一步一步的局部贪心"，因为未来的价值已经被 V* 概括进当前决策里了。
2. 两个迭代算法
| 算法 | 迭代对象 | 收敛条件 | 一句话 |
|---|---|---|---|
| 策略迭代 | 策略 π（评估 → 改进循环） | 策略不再改变 | "评估够了再改进" |
| 值迭代 | 价值 V（直接迭代最优方程） | V 变化足够小 | "边评估边改进" |
直觉：两者都依赖"价值函数是贝尔曼算子的不动点"这一性质。贝尔曼算子 T 是收缩映射（把"两个价值函数的距离"按 γ 的比例缩小），所以反复作用 T 必收敛——这就是整个表格法 RL 的收敛保证。
3. 在 RL 里有什么用
- 表格法的理论基石：值迭代、策略迭代就是"模型已知时的 RL"。
- Q-learning 的直系祖先：Q-learning 更新公式 Q(s,a) ← Q(s,a) + α[r + γ·max_{a′}Q(s′,a′) − Q(s,a)] 就是"用采样近似贝尔曼最优算子"。
- 面试考点："为什么要有折扣 γ？" 除了直觉（未来不确定性），数学上 γ<1 保证贝尔曼算子是收缩映射、迭代必收敛。
4. 这条数学在哪个算法出现
| 数学概念 | 在 RL 里的用途 | 出现的算法 |
|---|---|---|
| 最优性原理 | 最优策略的子结构 | 所有最优解 |
| 贝尔曼算子 + 收缩映射 | 收敛性证明 | 值迭代、Q-learning、TD |
| 不动点迭代 | 价值函数递归求解 | DP、Q-learning、DQN |
| 贪心改进 | 从 V* 提取最优策略 | 策略迭代、值迭代 |
五、随机近似：Robbins-Monro 与随机梯度
1. 问题：期望未知时怎么优化
动态规划假设我们知道 P 和 R（模型已知）。RL 里模型未知，我们只能从样本里估计期望。Robbins-Monro（1951）回答了：想求使 g(θ)=0 的 θ，但 g 只有带噪声观测 y(θ) 时怎么办？
迭代更新：θ_{k+1} = θ_k + α_k · y_k
其中 E[y_k | θ_k] = g(θ_k)，即 y_k 是无偏噪声观测
收敛条件（Robbins-Monro 条件）：
Σ α_k = ∞ （步长不能衰减太快，否则走不到目标）
Σ α_k² < ∞ （步长必须衰减，否则噪声累积不收敛）直觉：小步慢走，方向平均正确，噪声会被平均掉。步长 α_k 必须"既要走足够多步，又要越走越小"。
2. 在 RL 里有什么用
- TD 更新就是随机近似：V(s) ← V(s) + α·δ，其中 δ = r + γV(s′) − V(s) 是带噪声的"误差观测"，α 是步长。TD 的收敛证明直接引用 Robbins-Monro。
- 随机梯度上升（策略梯度）：策略参数更新 θ ← θ + α·∇Ĵ(θ)，其中 ∇Ĵ 是从一个 batch 样本估计的梯度（带噪声）。"为什么要 minibatch？" 就是要在偏差与方差之间折中。
- 为什么要对 α 做衰减 / 为什么 RL 里固定 α 也行？ 表格 RL 理论要求 α 衰减；深度 RL 实践中常用固定学习率 + Adam 优化器，因为 Adam 本身就做了自适应步长——这是理论与实践的一个重要差异。
3. 这条数学在哪个算法出现
| 数学概念 | 在 RL 里的用途 | 出现的算法 |
|---|---|---|
| Robbins-Monro | TD 更新的收敛基础 | TD、Q-learning |
| 随机梯度 / 梯度上升 | 神经网络参数学习 | DQN、PPO、SAC 等全部深度 RL |
| 步长（学习率） | 控制更新幅度 | 所有算法（见调参实践） |
| minibatch 平均 | 降低梯度噪声 | 深度 RL 训练循环 |
| 自适应步长（Adam） | 替代理论要求的 α 衰减 | 深度 RL 标配 |
六、信息论：熵、KL 散度与凸优化
1. 熵（Entropy）
离散分布 P 的熵度量"平均不确定性"：
H(P) = −Σ_x P(x)·log P(x)- 均匀分布熵最大（最不确定），确定性分布熵为 0。
- 在 RL 里熵是"策略有多随机"的度量。
2. KL 散度（Kullback-Leibler Divergence）
KL 散度度量"用 Q 近似 P 时丢失的信息量"：
KL(P || Q) = Σ_x P(x)·log(P(x)/Q(x))性质（直觉足够用）：
- 非负：KL ≥ 0，且等号当且仅当 P=Q。
- 不对称：KL(P‖Q) ≠ KL(Q‖P)，所以它不是距离度量。
- 凸性：对第二个参数 Q 是凸函数，这让"约束策略接近参考策略"成为可优化问题。
3. 凸优化（Convex Optimization）
凸函数 f 满足"连线在曲线上方"。凸优化的关键性质：凸函数没有局部最优陷阱，梯度下降一定收敛到全局最优。
在 RL 里出现的形态：
- TRPO 的约束优化：max J(θ) 且 KL(π_θ ‖ π_old) ≤ δ —— 约束集是凸的，保证"安全更新"。
- SAC 的对偶形式：把熵约束写进目标函数，温度系数 α 就是拉格朗日乘子，自动温度调节就是在解对偶问题。
- DPO 的推导：从偏好数据推出的闭式最优解，最后落到一个标准的分类式（交叉熵）目标。
4. 在 RL 里有什么用
| 数学概念 | 在 RL 里的用途 | 出现的算法 |
|---|---|---|
| 熵 | 策略随机性度量；探索与防过早收敛 | SAC、熵正则 |
| KL 散度 | 限制策略更新步幅；RLHF 中对齐参考模型 | TRPO、PPO、RLHF |
| 交叉熵 | 分类式训练目标（含 DPO） | 行为克隆、DPO |
| 凸优化 / 对偶 | 约束问题的等价变形 | TRPO、SAC 自动温度 |
| 拉格朗日乘子 | 熵约束的权重（温度 α） | SAC |
KL 与 PPO clip 的关系
PPO 没有显式 KL 约束，而是用 clip 裁剪"新旧策略概率比"——因为 TRPO 的硬 KL 约束实现困难，clip 是一种计算简单、行为近似"限制更新幅度"的替代品。KL 是"度量"，clip 是"近似实现"，两者目标一致。详见策略梯度方法。
七、全部数学概念 → RL 用途总览
一张表收拢全篇：
| 数学工具 | 直觉一句话 | 直接对应的 RL 环节 | 主战场算法 |
|---|---|---|---|
| 期望 | 概率加权平均 | 价值函数、回报目标 | 全部 |
| 条件期望 + 全期望定律 | 按条件分类求平均 | 贝尔曼方程 | DP、TD、DQN |
| 方差 / 偏差权衡 | 准 vs 稳 | 选 MC / TD / GAE λ | MC、TD、PPO |
| 马尔可夫链 / 平稳分布 | 长期状态频率 | 收敛证明、策略梯度定理 | 表格法、PG |
| 贝尔曼最优性 | 子问题最优 | MDP 递归求解 | DP、Q-learning |
| 收缩映射 / 不动点 | 迭代必收敛 | 收敛性论证 | 全部表格法 |
| Robbins-Monro | 噪声中找根 | TD 更新、SGD 学习 | TD、深度 RL |
| 熵 | 不确定性度量 | 策略随机性、探索 | SAC、熵正则 |
| KL 散度 | 分布距离（非对称） | 策略更新约束、对齐 | TRPO、PPO、RLHF |
| 凸优化 / 对偶 | 无局部最优陷阱 | 约束目标求解 | TRPO、SAC |
最常翻车的三处
- KL 当距离用：KL 不对称，TRPO 里用 KL(π_new‖π_old) 是有方向的，反过来的数值不同，别写成对称形式。
- 期望的线性性误用：线性性只对期望成立，对"概率"不成立——P(A∪B) ≠ P(A)+P(B) 除非互斥。
- 随机近似要求步长衰减：理论里 α 必须衰减到 0；深度 RL 用 Adam 掩盖了这一点，换回 SGD 时若学习率不衰减，训练极易发散。
八、数学符号速查表
读论文时最常卡住的符号，一表收齐：
| 符号 | 含义 | 备注 |
|---|---|---|
| S, A, s, a | 状态集合、动作集合及其元素 | MDP 基本对象 |
| P(s′|s,a) | 转移概率 | 环境动态，模型已知时才可用 |
| r(s,a,s′) | 奖励函数 | 环境给出，RL 最大化对象 |
| γ | 折扣因子 | 0 ≤ γ < 1 保证收敛 |
| π, π(a|s) | 策略及其在状态 s 选动作 a 的概率 | 学习目标 |
| V(s), V_π(s) | 状态价值函数 | 期望回报 |
| Q(s,a), Q_π(s,a) | 动作价值函数 | 比 V 多一个动作维度 |
| A(s,a) | 优势函数 = Q − V | 减方差的利器 |
| G_t | 从 t 时刻起的折扣回报 | MC 的估计对象 |
| δ_t | TD 误差 = r + γV(s′) − V(s) | 学习的"误差信号" |
| α | 步长 / 学习率 | 必须满足 Robbins-Monro 条件（理论） |
| θ, φ, ψ | 网络参数 | 策略/价值/模型的参数 |
| ∇_θ J | 目标函数对 θ 的梯度 | 策略梯度更新方向 |
| λ | GAE 的衰减参数 | λ=0 退化为 TD(0)，λ=1 接近 MC |
| r_t(θ) | 新旧策略概率比 π_θ/π_old | PPO clip 的对象 |
| ε | PPO 裁剪幅度 / 探索概率 | 上下文决定含义 |
| H(π) | 策略熵 | SAC 与熵正则的目标项 |
| KL(P‖Q) | 分布 P 到 Q 的 KL 散度 | 非对称，注意方向 |
| ρ, d^π(s) | 稳态分布 / 策略访问频率 | 策略梯度定理中出现 |
| ω | 权重/频率符号 | 因论文而异 |
TIP
同一个符号在不同论文里可能有不同含义（尤其 ω、ρ、ε）。读论文先找"Notation"或公式首次出现处的定义，别默认它和上一篇一样。
九、自学资源
按"要不要系统学数学"分两档：
| 目标 | 推荐资源 | 说明 |
|---|---|---|
| 只想补齐 RL 用到的数学 | 本页 + 术语表 | 够读懂主流论文的公式 |
| 系统学概率与随机过程 | Introduction to Probability（Blitzstein & Hwang） | 免费公开书（Harvard Stat 110），直觉极好 |
| 系统学凸优化 | Boyd & Vandenberghe, Convex Optimization | 免费在线：https://web.stanford.edu/~boyd/cvxbook/ |
| 系统学 RL 数学 | Sutton & Barto 第 3、6、9 章 | 免费的教科书级推导：http://incompleteideas.net/book/RLbook2020.pdf |
| 想看算法里的数学被"翻译"成直觉 | Spinning Up：https://spinningup.openai.com/en/latest/ | 每个算法页都有"为什么这么设计"的数学直觉 |
延伸阅读
- 马尔可夫决策过程（MDP） —— 全期望定律与贝尔曼方程在这里完成完整的公式推导。
- 价值学习：从动态规划到 DQN —— 动态规划、MC、TD 的算法实现与偏差方差权衡的实操形态。
- 策略梯度方法 —— 策略梯度定理、GAE、PPO clip 背后的期望与 KL 直觉。
- 术语表 —— 本页数学对应的算法名词速查。
参考资料
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction, 2nd ed., MIT Press. 免费在线版：http://incompleteideas.net/book/RLbook2020.pdf
- Robbins, H., & Monro, S. (1951). "A Stochastic Approximation Method." The Annals of Mathematical Statistics, 22(3), 400–407.
- Bellman, R. (1957). Dynamic Programming. Princeton University Press.
- Boyd, S., & Vandenberghe, L. (2004). Convex Optimization. Cambridge University Press. 免费在线：https://web.stanford.edu/~boyd/cvxbook/
- David Silver, Introduction to Reinforcement Learning with David Silver（UCL 课程，含数学推导）：https://www.davidsilver.uk/teaching/