NLP / 大语言模型2017/Transformer
Attention Is All You Need
Ashish Vaswani et al.
以自注意力替代循环结构，构建并行的编码器与解码器。
注意力机器翻译序列建模
NKUGeek Research
论文共读与复现
推荐论文从基础方法到跨领域研究。60 篇精选原文，5 个研究方向；先确定可验证的实验范围，再积累代码、日志与复现报告。
2013–2025 · 年份按首次预印本 · 收录不代表已复现 · 校订 2026-09-28
论文目录
60 篇论文 · 第 1 / 5 页
NLP / 大语言模型2018/BERT
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Jacob Devlin et al.
通过双向掩码预训练学习可迁移的语言表示。
预训练掩码语言模型文本分类
NLP / 大语言模型2020/GPT-3
Language Models are Few-Shot Learners
Tom B. Brown et al.
研究大规模自回归语言模型的上下文少样本学习。
上下文学习语言模型少样本
NLP / 大语言模型2019/T5
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Colin Raffel et al.
将多种 NLP 任务统一成文本到文本的输入输出形式。
Text-to-Text迁移学习预训练
NLP / 大语言模型2019/RoBERTa
RoBERTa: A Robustly Optimized BERT Pretraining Approach
Yinhan Liu et al.
重新审视 BERT 的训练时长、数据规模和训练目标。
预训练消融实验动态掩码
NLP / 大语言模型2019/BART
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
Mike Lewis et al.
组合双向编码器与自回归解码器，以去噪任务进行预训练。
去噪预训练文本生成摘要
NLP / 大语言模型2020/RAG
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Patrick Lewis et al.
将参数化生成模型与可检索的外部文档记忆结合。
检索增强开放域问答知识库
NLP / 大语言模型2021/LoRA
LoRA: Low-Rank Adaptation of Large Language Models
Edward J. Hu et al.
冻结原始权重，通过低秩增量完成下游适配。
参数高效微调低秩PEFT
NLP / 大语言模型2023/QLoRA
QLoRA: Efficient Finetuning of Quantized LLMs
Tim Dettmers et al.
将量化基座与低秩适配结合，降低语言模型微调的显存开销。
量化参数高效微调NF4
NLP / 大语言模型2023/DPO
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
Rafael Rafailov et al.
从偏好对直接优化策略，省去显式奖励模型训练阶段。
偏好优化对齐RLHF
NLP / 大语言模型2022/InstructGPT
Training language models to follow instructions with human feedback
Long Ouyang et al.
通过监督微调、偏好奖励和强化学习改善指令遵循。
RLHF指令微调人类反馈
NLP / 大语言模型2023/LLaMA
LLaMA: Open and Efficient Foundation Language Models
Hugo Touvron et al.
研究数据与训练预算配置下的高效基础语言模型。
基础模型预训练高效推理
来源与收录原则
参考 Spinning Up · Key Papers in Deep RL 的按主题组织方式，并扩展到语言、视觉、多模态与机器人。每篇均链接 arXiv 原文；清单不是全领域综述或排名。
复现范围与证据
难度、实践方式与实验目标是社区编辑建议，尚未逐篇实测。缩小训练、评估公开权重和复现原文全量结果需分别说明。没有可核验日志的项目，不填写成绩、负责人或完成状态。