PAPER POSITIONING & LINEAGE论文定位与演进坐标
WHY THIS PAPER EXISTS研究动机 / 前序局限
经典 RLHF 需要先单独拟合脆弱的奖励模型再执行不稳定的 PPO 策略梯度强化学习,训练代价高、超参敏感。
CORE SHIFT核心方法跃迁
发现闭式奖励与最优策略的等价重参数化关系,令语言/策略模型直接从成对偏好数据端到端优化而无需显式奖励网络。
ARCHIVE PROVENANCEZotero / PKA 溯源
Zotero 双版本归档(arXiv & NeurIPS 36),作为智能体对齐与后续具身偏好微调方法基石预留笔记。
WHAT REMAINED遗留局限 / 开放问题
离线成对静态偏好容易遭受分布外过拟合,在开放多步具身交互中需结合在线探索校验或反馈回路。
来源与归档记录
- 档案来源:
Zotero / LLM Alignment & Agents - 文献定位:Zotero 双版本归档(arXiv & NeurIPS 36),作为智能体对齐与后续具身偏好微调方法基石预留笔记。
个人精读正文(预留)
本页先展示题录定位、知识图谱上下游与本地文献归档状态;完整分节推演与复现实验记录预留于此,后续补充正文内容。
CONNECTED IN KNOWLEDGE SYSTEM知识体系关联节点与长文