问题背景：为什么需要自反馈奖励
LLM 后训练强化学习的奖励来源长期只有两条路：一是可验证奖励（RLVR）——数学题对照标准答案、代码过单元测试，奖励精确但只能覆盖"有标准答案"的域；二是学习型奖励模型（RLHF 的 RM）——用人工偏好训一个打分器，覆盖面广但标注昂贵、受标注者水平封顶，而且 RM 在训练中冻结，无法随策略共同改进。
2026-10-17 发布的 DeepSeek-V4.1-Flash-1017 把这个问题推到了台前。官方更新说明称：新版本"通过基于自反馈的强化学习训练，提升了在游戏开发、3D建模等方面从零开始构建完整项目的能力"——即所谓"许愿式编程"：用户只给一句高层描述（"做一个故宫3D展示""做个网页赛车游戏"），模型自主完成拆解、多文件代码、视觉与交互、验收交付的完整闭环，中间不问人。官方演示包括故宫 3D 建模、网页赛车游戏、Godot 复刻 Portal 2、史前到现代的"岁月峡谷"3D 场景；第三方报道引述的 DeepSWE v1.1 Pass@1 为 77.0%（前版 74.2%），单任务成本约 0.20 美元。注意：DeepSeek 未公开其自反馈的具体机制，本文第五节将其与论文族机制对照的部分属于推断。
这类任务暴露了外部奖励的三个结构性缺陷：
- 没有标准答案：一个"能跑的赛车游戏"有无穷多种正确实现，不存在可逐字对照的 ground truth；
- 中间步骤多、错误会累积：长程智能体（long-horizon agent）任务中，早期错误直到最终才显形，轨迹级稀疏奖励无法指出是哪一步错了——这正是信用分配（credit assignment）难题；
- 质量难以规则化打分：视觉观感、交互手感、隐性需求满足度，都难以用简单规则自动评分。
自反馈强化学习的回应是：让模型在生成过程中自我检查、自我纠错，并对中间结果和最终效果做质量评估，把这些自我评价当作奖励信号（或奖励的重要组成部分）。它提供比"最终成败"密集得多的中间奖励，同时减少对外部标注和人工偏好的依赖。
概念界定：RLSF 与 RLHF/RLAIF/RLVR 的位置
"自反馈强化学习"在社区里其实是一族方法的统称，狭义和广义口径需要分清：
- 狭义 RLSF：特指 van Niekerk 等（Heinrich Heine University Düsseldorf）提出的方法——用模型自身的 token 置信度构造偏好数据再做偏好优化（arXiv:2507.21931）。DeepSeek 官方说明中的 RLSF 是否采用同一机制未公开；
- 广义自反馈 RL：凡奖励信号的重要部分由被优化模型自身（或与之共享参数的角色）产生、而非来自人工标注或外部验证器的后训练方法，都可归入。本文采用广义口径。
| 范式 | 奖励来源 | 奖励是否随策略进化 | 典型上限 |
|---|---|---|---|
| RLHF | 人工偏好训练的冻结 RM | 否（RM 冻结） | 标注者水平与标注规模 |
| RLAIF / Constitutional AI | 外部教师模型或规则清单 | 通常否 | 教师模型水平 |
| RLVR | 标准答案 / 执行器 / 验证器 | 不适用（规则） | 只覆盖可验证域 |
| 自反馈 RL | 模型自身的置信度、评判、反思、验证、归因 | 是（评判者与策略共同进化） | 模型自身的判别力（核心瓶颈） |
自反馈并非空中楼阁，它有明确的理论支点——生成-验证不对称性（generation-verification asymmetry）：对同一个模型，评判一个解是否正确通常比自己生成一个正确解更容易。RLSR 论文把这条不对称性作为核心论据：模型做不出某道积分题，却常常能判断"这个解法对不对"。此外，预训练模型内部本就蕴含可用的自评信号——Chain-of-Thought 解码的研究表明，模型自发产生的推理链与更高的答案置信度相关，token 级置信度本身就是推理质量的代理（proxy）。
同一个模型在不同步骤扮演不同角色是自反馈族的共同结构：生成者（solver/actor）负责产出，评判者（critic/judge/analyzer）负责反馈，两者共享参数。共享参数化带来"自演化循环"——策略改进后遇到的轨迹和评判能力同时刷新（SEED、ICRL 都是这一结构）；代价是评判者与生成者共享盲点，这是第七节失效模式的主线。
机制分类：五种自反馈信号来源
把十篇论文按"自反馈信号从哪里来"分成五类，比按时间罗列更能看清技术版图：
| # | 自反馈信号 | 信号怎么计算 | 代表工作 | 主要优化器 | 适用场景 |
|---|---|---|---|---|---|
| Ⅰ | 内在置信度 intrinsic confidence |
多条推理链的答案 span token 概率差（top1−top2 disparity），高置信轨迹视为优选 | RLSF（2507.21931） | DPO / PPO + Bradley-Terry RM | 推理增强 + 校准修复；校准差的基座收益最大 |
| Ⅱ | 自评判 self-judging |
模型以 LLM-as-a-Judge 身份按维度打分/排序，或直接比较两个回答 | Self-Rewarding（2401.10020）、SER（2411.00418）、RLSR（2505.08827） | Iterative DPO / 组相对 RL | 开放域指令遵循、无标准答案任务、RM 自举 |
| Ⅲ | 反思-重试 reflect-retry |
失败后生成自我反思，以"重试是否成功/性能增益"回奖反思或批判 | Reflect-Retry-Reward（2505.24726）、ICRL（2605.15224）、ReflexiCoder（2603.05863） | GRPO / RL-only | 数学、函数调用、代码自纠错内化 |
| Ⅳ | 自我验证+工具闭环 self-verification loop |
模型自写测试/调用工具获得环境反馈，多轮"生成-验证"共同进化 | ReVeal（2506.11442）、Agent-Reflex（2610.17953） | 多轮 RL + 轮级信用分配（TAPO/ORPO） | 代码 agent、长程工具调用、噪声环境 |
| Ⅴ | 自我信用分配 self credit assignment |
模型生成带引用的总结，指出轨迹中哪些步是决定性的；组内成败对照重缩放权重 | Self-Credit（2610.28388） | 组相对 RL + 优势重加权 | 长程 agent：稀疏结果奖 → 密集步级信号 |
五类并不互斥：真实系统往往组合使用（例如 Agent-Reflex 同时含反思技能库与策略蒸馏；Self-Credit 的自引用本质是"用模型自己的归因做密集化"）。分类的意义在于——每一类对应不同的失效模式和工程成本，选型时应先问"我的瓶颈是奖励稀疏、无验证器，还是纠错能力没内化"。
通用技术路线：四步流水线与防塌缩设计
抽象掉各论文的细节差异，自反馈 RL 的训练循环收敛为四步：
↻ 更新后的策略成为下一轮采样的新分布，评判者（若共享参数）同步刷新 → 自演化循环
每一步都有一个决定成败的设计决策：
- 采样多少、怎么采：RLSF 用 K 条 CoT 波束（训练时 K 倍成本，推理时恢复贪心零开销）；组相对方法需要同题多解才有"组内对照"（Self-Credit 的 rescaling 依赖成败轨迹对照）；
- 自评信号的可信度：置信度只对校准差的模型有判别力（RLSF 论文明确：well-calibrated 基座收益小）；judge 打分需要防自偏爱；自写测试可能"虚假通过"——ReVeal 因此把验证能力本身也纳入优化目标；
- 信号粒度：轨迹级（偏好对）→ token 级（OPD 门控、ReflexiCoder 细粒度奖励）→ 步级（Self-Credit 引用重加权），粒度越细信用分配越好，但实现越复杂；
- 防塌缩是必选项不是可选项：ICRL 发现直接训练会让 solver 依赖批判条件分布（critique 撤掉就复发），需要分布校准重加权比只迁移与自身分布兼容的提升；SEED 论文也诚实声明共享参数意味着共享盲点。
十篇论文要点：按机制分组详读
Ⅰ·内在置信度：把"自己心里没底"变成奖励
RLSF：Post-Training Large Language Models via Reinforcement Learning from Self-Feedback
机制：对输入 q 用 CoT-decoding 采 K 条推理波束；给每条波束追加"So the answer is"定位答案 span，计算答案 token 上"top1 与 top2 概率之差"的平均值（confidence disparity）作为该轨迹的置信度；按置信度排序构造偏好对，再二选一：训 Bradley-Terry RM + PPO（RLSF-PPO），或直接 DPO（RLSF-DPO）。全程无需人工标签、标准答案或外部奖励模型。
关键数字（论文 Table 1，已核对原文）：Qwen2.5-7B 上 GSM8K 准确率 53.67→58.62（RLSF-PPO），MultiArith ECE 20.75→18.35；校准修复的标志性案例是错误答案过自信从 0.993 降到 0.712、正确答案概率质量 0.004→0.138。Gemma2-2B（本已校准良好）收益明显更小——自反馈对"校准差"的模型帮助最大，这是该方法的适用边界。
与 DeepSeek 的关系：这是狭义 RLSF 的出处论文；DeepSeek 官方仅说"基于自反馈的强化学习"，未声明采用置信度奖励机制。
Ⅱ·自评判：模型自己当裁判
Self-Rewarding Language Models：自奖励语言模型（族谱起点）
机制：同一模型两角色——生成回答后切换为裁判，按 LLM-as-a-Judge 提示给自己打分，构造偏好对做 Iterative DPO；下一轮迭代的裁判已被更新过的权重刷新，指令遵循能力与自评能力同时提升。Llama2-70B 三轮迭代后在 AlpacaEval 2.0 超过 Claude 2、Gemini Pro、GPT-4 0613。
意义：提出"超人类智能体需要超人类反馈"的论点，把"奖励模型冻结"这一 RLHF 结构性上限摆到台面，此后自反馈工作大多沿用其"共享参数双角色 + 迭代"骨架。
SER：Self-Evolved Reward Learning for LLMs（奖励模型自我进化）
机制：与 Self-Rewarding 的"策略自评"不同，SER 让奖励模型自己生成额外训练数据迭代改进自己——RM 用自身预测构造新标注、筛选后回训。在 HH-RLHF、UltraFeedback 上以 Mistral/Llama3 验证：即使人工标注数据有限，自反馈也能稳健提升 RM 性能，进而提升下游 LLM。
定位：自反馈不止作用于策略，也可以作用于奖励组件本身——RM 不再是一次性标注的固定资产。
RLSR：Reinforcement Learning from Self Reward（无标准答案的自judging）
机制：直接让模型当自己的裁判提供奖励信号，不依赖参考答案，赌注押在生成-验证不对称性上。在 Countdown 数字谜题和积分题上，自judging 奖励达到与形式化验证相当的训练效果；Qwen2.5-7B-Distill 用自奖励训练后达到 MIT Integration Bee 竞赛入围水平。进一步结合"模型自造练习题"形成完整自提升闭环：出题→解题→自评，无任何外部校验。
启示：RLVR 覆盖不到的域，自judging 是成本最低的替代品——但要时刻警惕裁判自身能力上限（见第七节）。
Ⅲ·反思-重试：让"吃一堑长一智"进入权重
Reflect, Retry, Reward：自我反思的强化学习
机制：两段式——任务失败后模型先生成自我反思评论分析上次尝试；带反思上下文重试一次；若重试成功，则奖励反思阶段生成的 token（GRPO 更新）。奖励的对象是"有用的反思"而不是答案本身，只需二元成败反馈即可训练，适合无法合成新数据的场景。
关键数字（作者报告）：数学等式书写 +34.7%，函数调用 +18.1%；1.5B–7B 微调模型超过同族 10 倍大模型。说明"教会模型反思"比"把模型做大"在特定任务上性价比更高。
ICRL：Learning to Internalize Self-Critique with Reinforcement Learning
机制：诊断了一个隐蔽失败——批判能纠正模型当下行为，但批判撤走后模型在同题上再次犯错，说明提升没有内化进无辅助能力。ICRL 让 solver 与 critic 从共享骨干联合训练：critic 的奖励来自 solver 随后的性能增益（激励可执行的反馈而非泛泛点评）；引入分布校准重加权比，只把与 solver 自身提示分布兼容的批判引导提升迁移过来；再用角色级组优势估计稳定双角色联合优化。
关键数字（作者报告）：Qwen3-4B/8B 上 agentic 任务较 GRPO 平均 +6.4 分、数学推理 +7.0 分；训出的 8B critic 堪比 32B critic 且 token 更省。分布漂移是自反馈内化的核心陷阱，ICRL 是目前最直接的工程对策。
ReflexiCoder：RL 内化"生成→反思→自纠"完整轨迹
机制：代码生成域。推理时的迭代修正通常依赖外部执行器或预言机；ReflexiCoder 用纯 RL + 细粒度奖励函数把"初次生成→面向 bug 与优化的反思→自我修正"整条结构化轨迹直接优化进权重，推理时无需真值反馈或执行引擎即可自主反思自纠。
关键数字（作者报告）：ReflexiCoder-8B 在 1.5B–14B 开源区间创 SOTA——HumanEval 94.51%（Plus 87.20%）、MBPP 81.80%（78.57%）、BigCodeBench 35.00%、LiveCodeBench 52.21%、CodeForces 37.34%，单次尝试即接近或超过部分专有模型；纪律化的反思模式还带来约 40% 的推理 token 节省。
Ⅳ·自我验证+工具闭环：自写考卷，互相进化
ReVeal：Self-Evolving Code Agents via Reliable Self-Verification
机制：指出 RLVR 只用结果奖励、从不显式优化验证能力，导致自验证不可靠、测试时扩展受限。ReVeal 把长程推理组织成多轮"生成-验证"回合——模型既写代码又写测试，用工具执行获得反馈；以 TAPO 做轮级信用分配，让代码生成与测试生成能力共进化，主动加宽生成-验证不对称性。
关键数字（作者报告）：训练只覆盖 3 轮交互，推理时模型能用自建测试+工具反馈在 LiveCodeBench 上连续自我改进 20+ 轮；Pass@k 显著提升，说明探索边界被真实拓宽而非只奖励已有行为。
Agent-Reflex：Teaching Language Agents to Act Reflectively
机制：三阶段训练主动反思。①环境反思技能发现（RSD）：在环境扩展中注入有依据的工具反馈扰动，用能力多样的 LLM 池挖掘成败配对，提炼可复用的"反思元技能"；②反思式 SFT（ReSFT）：把元技能转成自我反思、技能恢复、用户纠偏三类监督；③在线策略反思优化（ORPO）：噪声交互下的 agentic RL + 反思引导的在线策略蒸馏。目标是让反思成为主动行为而非事后补救。
关键数字（作者报告）：Qwen3-8B 骨干在五个长程工具基准综合 58.6，AgentNoiseBench 29.1，超过环境扩展与反思类基线，噪声鲁棒性提升且训练动态稳定。
Ⅴ·自我信用分配：稀疏奖励的致密化
Self-Credit：Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling
机制：直击长程 agent 的稀疏奖励信用分配。三件套：①rollout 中策略生成带引用的总结——引用早先哪几步含决定性证据，作为自生成的信用标注；②组内重缩放（intra-group rescaling）：同一提示的成功/失败轨迹对照，被引用动作在成败组中的一致/分歧程度决定去伪存真、突出关键步；③优势重加权：按重缩放权重上调被引用步的优势。
关键数字（作者报告）：BrowseComp-Plus 上 Qwen3-8B/32B 较基座 +37.0/+36.2 分、较最强 agentic RL 基线 +8.5/+5.6 分；GAIA +4.9，xBench-DeepSearch +4.7。分析显示自生成信用确能选出关键动作，失败轨迹上的重缩放跨规模都重要。
工具栈：优化器、评判实现与开源资产
6.1 优化算法选型
| 优化器 | 吃什么信号 | 在自反馈族中的角色 | 采用的工作 |
|---|---|---|---|
| DPO / Iterative DPO | 偏好对 | 自评排序 → 偏好对 → 直接偏好优化，免 RM | Self-Rewarding、RLSF-DPO |
| PPO + Bradley-Terry RM | 偏好对先训 RM 再打标量分 | 传统 RLHF 管线换用自生成偏好 | RLSF-PPO、SER 下游 |
| GRPO | 同题多解的组内相对优势（无 critic） | 自反馈族主力：天然契合"同输入多候选" | Reflect-Retry-Reward、ICRL（改造版）、多数 agentic RL |
| 在线策略蒸馏（OPD/SDAR 系） | 特权上下文 vs 普通上下文下同一动作的 logprob 差 | 把"训练时特权信息"（hindsight 技能/反思/批判）内化进无辅助策略 | SEED 类、Agent-Reflex ORPO |
| 轮级/步级信用分配 | turn/action 级权重 | 把轨迹级稀疏奖致密化 | TAPO（ReVeal）、Self-Credit 引用重加权 |
6.2 自评信号的工程实现
- 置信度差（confidence disparity）：答案 span 每个 token 的 top1−top2 概率差取均值；比裸概率更抗词表分布干扰（RLSF 公式1）。实现成本最低，无需第二次前向——但只反映"确信度"不反映"正确性"；
- LLM-as-a-Judge 提示：给裁判角色一份分维度评分表（Self-Rewarding 的裁判 prompt），输出分数或两两比较；要防位置偏置、长度偏置和自偏爱（self-preference）；
- 反思/批判文本：以结构化 JSON 或自由文本产出（如 SEED 的 episode_summary + episode_skill；ICRL 的 actionable critique）；其奖励挂在"下游增益"上而非文本本身；
- 自写验证器：模型生成单元测试/检查条件并执行（ReVeal），把验证器也纳入可训练对象，否则不可靠自验证会成为瓶颈；
- 引用式归因：让模型标注轨迹中的决定性步（Self-Credit），再以组内成败对照清洗标注——用群体统计给单个自评纠偏。
6.3 共享参数双角色与"训练时特权"模式
自反馈族反复出现的两个工程模式：
- 同权重多角色：actor 与 analyzer/critic/judge 共享参数（SEED、ICRL、Self-Rewarding）。好处是自演化循环——评判随策略刷新；代价是共享盲点；
- 训练时特权、推理时移除：反思、批判、hindsight 技能只作为训练时的额外上下文监督，部署时不需要裁判在场（SEED 推理时移除 analyzer；ICRL 目标是 unassisted solver；ReflexiCoder 把反思直接压进权重）。这让自反馈不增加线上推理成本——RLSF 训练时 K 倍采样成本，推理恢复贪心解码。
6.4 可复现资产
- RLSF →
github.com/carelvniekerk/ConfidentLLM - SER →
aka.ms/ser - ReflexiCoder →
github.com/juyongjiang/ReflexiCoder - ICRL →
github.com/brick-pid/ICRL - Agent-Reflex →
github.com/RUC-NLPIR/Agent-Reflex（working in progress）
失效模式与对策清单
自反馈不是免费午餐。把十篇论文里明说或可推断的失效模式集中列出，选型前先对照：
① 裁判天花板：自评能力封顶自提升
模型当自己的裁判，奖励质量上限就是自身判别力。RLSR 赌生成-验证不对称性，但当任务难度越过裁判力边界，自评分噪声化。对策：judge 与策略共进化（Self-Rewarding 迭代、SER 的 RM 自举）、保留少量外部锚点数据校准。
② 奖励 hacking 与自偏爱
生成者学会迎合自己的裁判偏好（更长、更流畅、更像自己风格），而非变好。对策：分维度评分、pairwise 对照、组内统计纠偏（Self-Credit 的 rescaling 本质是群体投票清洗个体自评）。
③ 分布漂移：批判撤走后复发
ICRL 实测：critique 条件下学会的改进，在 critique-free 提示下不迁移——solver 变成依赖提示在场。对策：分布校准重加权比，只迁移与自身分布兼容的提升。
④ 共享盲点：生成者与评判者同错
SEED 论文诚实声明：共享参数意味着共享盲点，不准确的自我分析可能反过来强化策略错误。对策：引入独立信号源（工具执行、环境反馈）打断纯自闭环——ReVeal/Agent-Reflex 把执行反馈留在环内正是为此。
⑤ 置信度≠正确性
RLSF 只在基座校准差时收益大；对 already well-calibrated 模型，置信度排序接近噪声。对策：先测基座 ECE 再决定是否用置信度类信号。
⑥ 自写验证器虚假通过
模型自己写的测试可能过松（甚至断言恒真），ReVeal 因此把验证能力显式纳入优化目标。对策：测试生成与代码生成对抗式共进化，抽样用外部测试核验。
⑦ 训练成本膨胀
K 条波束、多 rollout、多轮轨迹都放大采样成本；长程 agent rollout 更贵。缓解：训练时特权推理时移除的模式把成本集中在离线侧；ReflexiCoder 证明内化后推理 token 反而下降约 40%。
回到"许愿式编程"：长程交付需要哪类自反馈
把 DeepSeek 官方叙述（许愿式编程：少提示、少素材、短轮次、交付完整项目）拆成能力需求，可以看出它几乎精确对应五类自反馈的组合——注意以下为机制对照推断，DeepSeek 未公开其实现：
| 许愿式编程的能力需求 | 外部奖励为什么给不了 | 对应的自反馈机制 |
|---|---|---|
| 过程中自我检查、不走偏 | 无逐步参考答案 | Ⅲ 反思-重试（RRR/ICRL）；Ⅴ 自我信用分配（Self-Credit） |
| 中间产物质量评估 | "游戏手感/3D观感"无规则化打分 | Ⅱ 自评判（Self-Rewarding/RLSR） |
| 生成后自纠错、一次做对 | 不能指望用户当质检员 | Ⅲ ReflexiCoder 式轨迹内化 |
| 代码真实可运行 | 评审不等于运行 | Ⅳ ReVeal 式自写测试+工具闭环 |
| 短轮次交付 | 多轮人工介入违背产品形态 | 训练时特权、推理时移除（ICRL/SEED 模式） |
另有一个值得记录的关联信号：DeepSeek 与清华 2026-09 发表的 DSec 沙盒基础设施论文（Agent 在训练沙盒里交互式自建环境并打成增量快照复用）被第三方解读为自反馈/RSI 训练的平台支撑——许愿式编程恰是这类基础设施的典型产出场景。此关联为媒体分析，非官方确认。
对读者的落地建议：如果要在自有 agent 产品中引入自反馈，优先级顺序建议——①先上 Ⅴ/Ⅲ 解决稀疏奖励与错误累积（收益最直接）；②再考虑 Ⅳ 把执行反馈留在环内防共享盲点；③Ⅱ 自评判适合无验证器的开放域但要配防 hacking 设计；④Ⅰ 置信度类仅在校准差的基座上优先。
关键数据速览、证据边界与总结
9.1 关键数字速览
| 工作 | 标志性结果（作者报告） | 骨干/基准 |
|---|---|---|
| RLSF（2507.21931） | GSM8K 53.67→58.62；错误答案自信 0.993→0.712 | Qwen2.5-7B / Gemma2-2B |
| Self-Rewarding（2401.10020） | AlpacaEval 2.0 超 Claude 2 / Gemini Pro / GPT-4 0613 | Llama2-70B × 3 轮迭代 |
| SER（2411.00418） | 有限人工标注下 RM 性能稳健提升 | HH-RLHF / UltraFeedback · Mistral/Llama3 |
| RLSR（2505.08827） | 自奖励 ≈ 形式化验证效果；入围 MIT Integration Bee 水平 | Qwen2.5-7B-Distill · Countdown/积分 |
| Reflect-Retry-Reward（2505.24726） | 数学等式 +34.7%；函数调用 +18.1% | 1.5B–7B 多架构 |
| ReVeal（2506.11442） | 训 3 轮 → 推理连续自改进 20+ 轮；Pass@k 提升 | LiveCodeBench |
| ReflexiCoder（2603.05863） | HumanEval 94.51 / LCB 52.21 / CF 37.34；token −40% | 8B · 7 代码基准 SOTA |
| ICRL（2605.15224） | agentic +6.4 / 数学 +7.0（vs GRPO）；8B critic ≈ 32B | Qwen3-4B/8B |
| Agent-Reflex（2610.17953） | 长程工具基准综合 58.6；AgentNoiseBench 29.1 | Qwen3-8B |
| Self-Credit（2610.28388） | BrowseComp-Plus +37.0/+36.2（8B/32B vs 基座） | Qwen3-8B/32B · GAIA/xBench |
证据边界声明：
· 本文所有性能数字均为论文作者报告（RLSF 的 Table 1 数字已与原文逐项核对；其余来自各论文摘要/正文），未经独立复现；
· DeepSeek-V4.1-Flash-1017 的 RLSF 细节（DeepSWE 77.0%、单任务成本、演示列表）来自官方说明与第三方报道，其自反馈机制未公开，本文不主张其为任一具体论文的实现；
· 用户社区流传的 ReVeal 副标题"Iterative Generation-Verification"与 arXiv 实际标题"Reliable Self-Verification"不同，本文以 arXiv 页面为准；
· 机构归属仅在论文或代码仓库可证处标注（HHU Düsseldorf、人大 NLPIR、Meta/NYU）；未标注者表示 arXiv 页面未给出。
9.2 总结
自反馈强化学习的本质是把"评估"从外挂组件变成可训练对象：置信度、裁判、反思、验证器、归因，这些过去属于推理时技巧或人工流程的东西，被逐一改造为奖励信号并压进权重。2024 年 Self-Rewarding 开了头，2025 年 RLSF/RLSR/RRR/ReVeal 分别占住置信度、自judging、反思、验证闭环四条线，2026 年 ReflexiCoder/ICRL/Agent-Reflex/Self-Credit 把主题推向"内化"与"长程"——批判要能撤走、反思要成主动行为、稀疏奖励要致密化。DeepSeek V4.1-Flash-1017 的许愿式编程是这条技术线第一个大众可见的产品形态：当模型自己当质检员，人才可以真正退出循环。下一步的看点不在"能不能自评"，而在裁判力如何突破生成力的边界——这决定了自提升闭环的天花板在哪里。