外观
阅读纪律与 FAQ
一句话定位：这一页是读 RL 论文的"施工纪律"——它回答"怎么记笔记、读不懂数学怎么办、如何判断一篇论文值不值得读、哪些论文可以跳过、复现实验怎么守纪律"，适合在读任何一篇论文之前先读一遍（之后每次卡壳再回来查），读完后你会有自己的一套阅读流程，而不是凭感觉硬读。
前面几页给了路线（阅读路径）、地图（论文地图）和精读样本（经典论文精读）。这一页补上最容易缺失的部分：方法。多数人读论文失败，不是因为难，而是因为没有纪律——没有笔记、没有"读到什么程度"的意识、没有复现的验证闭环。下面按"读前 → 读中 → 读后"组织。
一、阅读纪律：三栏笔记法
读任何一篇论文，边读边记，笔记只设三栏，不要多，多则不可持续：
text
┌─────────────────────────────────────────────────────────────┐
│ 论文：<标题 + 作者 + 年份 + 链接> │
│ │
│ ① 问题（他们想解决什么？） │
│ · 一句话版本： │
│ · 之前的方法为什么不行？（上一代留下了什么坑） │
│ │
│ ② 方法（他们怎么解决？） │
│ · 核心机制一句话： │
│ · 关键公式/图/表格（贴进来或重画） │
│ · 与最接近的上一篇论文比，改了什么？ │
│ │
│ ③ 局限（他们没解决什么？） │
│ · 论文自己承认的假设/失败： │
│ · 我的怀疑： │
│ · 可攻击的 gap（只有做研究时填）： │
└─────────────────────────────────────────────────────────────┘三栏的黄金比例：①要短（两三行），②是本栏主体，③是你和别人拉开差距的地方。大部分初学者把 90% 的时间花在 ② 上却跳过 ③——结果是"读懂了"却"说不出这篇论文哪里不好"，面试一追问就露怯。
笔记工具
纯文本/表格都行（一个 Markdown 表格、Notion、Logseq 均可）。关键是给每篇论文一个稳定的入口，让你半年后能 30 秒回忆起"这篇讲了什么"。如果每篇论文都能用三栏填满，说明你的阅读已经具备 L2 机制级（见阅读路径的分级表）。
二、读不懂数学怎么办：公式 → 直觉 → 代码
"公式看不懂就放弃"是读论文的第一杀手。正确的顺序是公式 → 直觉 → 代码三层转化，卡在哪层补哪层：
| 层级 | 做什么 | 卡住时怎么办 |
|---|---|---|
| 公式层 | 看懂符号定义、推导步骤 | 先跳过推导，只认"输入输出是什么"；把公式里每个符号对照论文 Notation 表 |
| 直觉层 | 问"这个公式在表达什么直觉" | 去博客/概念页找一句话解释（本站概念页就是为此存在） |
| 代码层 | 看官方实现里这一行怎么写的 | 这是终极验证：公式写成代码 5 行以内能看懂，说明懂了 |
text
实操例子：PPO 的 clip 目标 L^CLIP 读不懂时
公式层卡住 → 先把 r_t(θ) 定义抄下来（新旧策略概率比），
知道 min() 和 clip() 分别是什么操作
直觉层 → "限制新旧策略的比值在 [0.8, 1.2]，防止一步更新太猛"
（[经典论文精读](/papers/core-papers) 的 PPO 章节有完整拆解）
代码层 → 打开 SB3/CleanRL 的 PPO 实现，找到 clip 那两行，确认
"clipped_ratio = ratio.clamp(1-eps, 1+eps)" 与公式一一对应两层硬规则：① 一个公式卡超过 30 分钟就跳过，标记回来再啃；② 永远不要停留在"公式抄下来了"——必须能用自己的话说出直觉，否则三天后就忘。数学基础不够时，数学基础速查按"每个概念对应哪个 RL 算法"组织，是比教科书更快的中转站。
三、判断论文好坏的清单
读一篇论文之前先问八个问题，回答多数为"是"的才值得 L2/L3 精读：
| # | 问题 | 好论文的信号 |
|---|---|---|
| 1 | 问题是否真实？ | 能指出具体场景与代价（不是"我们提出一种新方法"空对空） |
| 2 | 动机是否明确？ | 明确说"上一代方法在 X 场景失效"，并给出例子 |
| 3 | 方法是否可复用的机制？ | 提炼出可迁移的思想（如"组内相对优势"），而非只换网络结构 |
| 4 | 基线是否充分？ | 对比了强基线（PPO/SAC/IQL 等各自领域事实标准），且公平 |
| 5 | 是否多个任务/多个 seed？ | 报告分布与方差，不只给一张最好曲线 |
| 6 | 是否有消融？ | 逐项拆开"哪个机制起效"，而不是黑盒打包 |
| 7 | 是否承认局限？ | 有诚实的失败模式讨论（这点顶级论文做得最好） |
| 8 | 是否公开代码？ | 官方实现可复现，降低你的验证成本 |
快速排雷信号
以下任一出现，直接降级到 L0（扫摘要即可）：只在一个自定义私有基准上报告；对比表里没有该领域的事实标准算法；消融缺失；结论与图严重不一致；代码"即将开源"却多年不见。读论文的时间应该花在好论文上——判断"值不值得读"本身就是阅读能力的一部分。
四、哪些论文可以跳过
RL 文献每年数以千计，跳过的能力与精读的能力同等重要。按可跳性排序：
| 类型 | 为什么可跳过 | 例外 |
|---|---|---|
| 换皮工程论文（把 A 换 B 提升 1%） | 机制无新意 | 若该任务是你所在行业的痛点，值得看实验部分 |
| 结果不可复现的论文（代码缺失+多 seed 缺失） | 学习成本高、收益为零 | 无 |
| 老生常谈的综述（每年都有人写） | 信息已在你脑内 | 顶级综述（如权威机构的年度综述）值得读方法分类部分 |
| 单一环境刷分论文 | 泛化未知，机制不明 | 若该环境是你的业务环境 |
| 被后续工作明确反驳的论文 | 答案已在更新工作中 | 读反驳论文时顺带了解即可 |
一条更有用的原则：不是"跳过论文"，而是"降级阅读"。没有一篇论文完全不该碰——大部分论文降到 L0/L1（5~15 分钟读摘要和结论）就够了。你的时间预算表（阅读路径）会告诉你哪些值得升到 L2+。
五、复现的纪律：先官方实现，后自己写
复现是读论文的终极检验，也是最容易踩坑的环节。纪律只有一条主线：永远先跑通官方实现，再动手自己写。顺序与理由如下：
text
第一步：跑官方实现（拿到"正确答案"）
目的：确认论文的结果在你这台机器上成立（硬件/版本差异都要排查）
产出：可复现的运行记录（seed、版本、超参、学习曲线）
第二步：换一个环境/数据集验证泛化
目的：区分"论文在特定环境有效"还是"机制真有效"
第三步：从零自己写（不看官方代码）
目的：把机制内化——能默写 clip 目标、回放、目标网络，
才算真正读懂（对标[经典论文精读](/papers/core-papers)的机制）
第四步：消融
目的：逐项移除机制看影响，回答"到底哪个机制在起作用"三步的常见失败模式与对策：
| 失败模式 | 对策 |
|---|---|
| 官方实现跑不出论文数字 | 先查硬件/依赖/超参差异；再查是否固定了论文没提的 seed；最后才怀疑"论文夸大"（确实存在） |
| 自己写的不如官方实现 | 逐行对比两个实现的差异（损失、梯度裁剪、熵正则、网络初始化），差异往往藏在细节里 |
| 复现只做了一半就放弃 | 把"跑通官方实现"本身算作一次完成——它已经是合格的作品集项目（见作品集项目） |
复现的最小骨架
从Gymnasium 渐进式教程的 CartPole 三版起步（表格式 Q-learning → REINFORCE → PPO），这套骨架代码短、可读、能改，是复现任何论文算法的最佳练手场。
六、FAQ：问答式收尾
Q1：每天只有 30 分钟，怎么安排读论文？ 固定最小闭环：5 分钟扫 3 篇新摘要（判断读不读）→ 20 分钟精读一篇 L2 级论文的核心机制 → 5 分钟写三栏笔记。别高估一次读懂的效率，低估长期复利的价值。一周 5 个 30 分钟，一个月就是 20 篇的机制级积累。
Q2：读不懂摘要里的术语怎么办？ 先查术语表。术语表没有的词，搜英文原文 + 该领域的综述。注意：很多术语在不同论文里有不同含义（如 "advantage" 在 RLHF 与经典 RL 中记法不同），优先信经典论文的用法。
Q3：先读中文博客还是直接读论文？ 策略：先博客后论文。博客（如 Spinning Up、Lilian Weng）建立机制直觉，论文验证细节与原文表述。但反过来不行——只读博客不读论文，你会缺"限定条件"（博客普遍删掉论文的失败讨论）。详见从这里开始的"热点 vs 前沿"分析。
Q4：数学推导真的要自己推一遍吗？ 取决于目标。面试/工程：推导核心一两条（如 PPO 的 clip 为什么是信任域近似、Q-learning 为什么收敛），其余信直觉；做研究：主要定理要推，且要能指出证明里"哪一步依赖哪个假设"——那是找 gap 的地方。判断标准：能回答"如果去掉某个假设，证明哪里会崩"。
Q5：什么时候该放弃一篇论文？ 三个信号，出现任一即可放弃（或降级）：① 读 45 分钟还在公式层打转且不产生直觉；② 三栏笔记里"局限"栏怎么也填不出来（说明论文或你没读到机制）；③ 复现三周无进展且排查不出环境问题。放弃不是失败，是资源分配。
Q6：读论文和跑项目怎么分配时间？ 原则是项目为纲，论文为目：让项目产生问题，让论文回答问题。纯读不做的"阅读马拉松"效率极低；纯做不读的"代码搬运工"走不远。参考阅读路径路线二：经典论文 + 一个亲手复现，是平衡点。
Q7：怎么知道一个方向的最新论文？ arXiv 订阅（按关键词 reinforcement learning、RLHF、world models、offline RL）、Papers with Code 的 Trending、再叠加前沿进展的分类框架。每周固定 30 分钟"扫新"即可，不要被日更绑架。
Q8：这篇 FAQ 适用于所有 RL 论文吗？ 适用。公式 → 直觉 → 代码的三层转化、三栏笔记、先官方后自写的复现顺序，在经典论文精读（理论）、论文地图（综述）、前沿进展（最新）三类论文上都成立。唯一的差别是每篇的"读到的程度"——用分级表决定。
延伸阅读
- 从这里开始 —— 栏目总入口：三条路线、"带走机制别带走数字"。
- 经典论文精读 —— 三栏笔记法的现成范例：6 篇论文按"背景→方法→实验→局限"拆好给你对照。
- 论文地图 —— 判断"这篇属于哪条支流"的坐标系，读论文前的定位工具。
- Gymnasium 渐进式教程 —— 复现纪律的最小练手场：CartPole 三版从零跑起来。
参考资料
- Keshav, S. (2007). How to Read a Paper. University of Waterloo. https://web.stanford.edu/class/ee384m/Handouts/HowtoReadPaper.pdf —— 三遍读法（survey/专家级/复现）的经典方法论，本文档三栏笔记法受其启发。
- OpenAI Spinning Up in Deep RL. https://spinningup.openai.com/en/latest/ —— 自带算法摘要级解读与复现提示的官方教程，配合论文阅读。
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press. https://incompleteideas.net/book/RLbook2020.pdf —— 读不懂论文数学时的最终参照：记号与推导以它为准。
- Weng, L. (2018). The Policy Gradient Method. https://lilianweng.github.io/posts/2018-04-08-policy-gradient/ —— "先博客后论文"策略中的高质量博客示例。
- Papers with Code: https://paperswithcode.com/ —— 找官方实现、查论文在基准上的排名，复现前先来这里确认参考实现存在。