NLP / 大语言模型 · 2022 · InstructGPT
Training language models to follow instructions with human feedback
Long Ouyang et al.
通过监督微调、偏好奖励和强化学习改善指令遵循。
RLHF指令微调人类反馈
复现空间 · 建议计划
研究 · 方案研读 · 编辑建议，尚未实测
最小实验目标
梳理 SFT、奖励模型与 PPO 的数据边界，并设计小模型替代实验协议。
数据集 / 环境
原始提示与标注并非完整公开；教学实验需另选公开偏好集。
评估项
- 偏好胜率
- KL 散度
- 奖励变化
边界与常见偏差
无法在这里完整重建原始标注流程和模型；对照实验必须标注替代条件与评估偏差。
实验验收协议
- 阅读原文，选定要对齐的具体表格、模型变体与数据划分；把缩小规模或替换组件单独列出。
- 核对作者资源的许可与依赖，锁定代码 commit、权重版本、硬件、随机种子和完整运行命令。
- 先完成数据与推理检查，再执行约定的实验；记录多次运行结果、资源消耗和失败案例。
- 提交可核验的代码、配置、日志与报告。原论文数值须注明表格和协议，当前指标必须附实际运行证据。
实验记录
- 原论文对齐目标
- 待认领后选定具体表格与评估条件
- 社区复现指标
- 暂无已验证结果
暂无实验日志与复现报告。收录此论文不表示社区已完成训练或评估；后续记录通过仓库 Issue 和 Pull Request 补充。