跳到正文

多模态 · 2022 · BLIP

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation

Junnan Li et al.

利用生成与过滤图像描述的机制改善视觉语言预训练。

图像描述视觉问答数据清洗

复现空间 · 建议计划

进阶 · 权重评估 · 编辑建议,尚未实测

最小实验目标

评估公开描述生成权重,并归类幻觉、遗漏和计数错误。

数据集 / 环境

COCO captions 的固定评估划分。

评估项

  • CIDEr
  • BLEU
  • 人工错误分类

边界与常见偏差

记录是否使用 Karpathy split;不同数据划分和解码方式的分数不可混用。

实验验收协议

  1. 阅读原文,选定要对齐的具体表格、模型变体与数据划分;把缩小规模或替换组件单独列出。
  2. 核对作者资源的许可与依赖,锁定代码 commit、权重版本、硬件、随机种子和完整运行命令。
  3. 先完成数据与推理检查,再执行约定的实验;记录多次运行结果、资源消耗和失败案例。
  4. 提交可核验的代码、配置、日志与报告。原论文数值须注明表格和协议,当前指标必须附实际运行证据。

实验记录

原论文对齐目标
待认领后选定具体表格与评估条件
社区复现指标
暂无已验证结果

暂无实验日志与复现报告。收录此论文不表示社区已完成训练或评估;后续记录通过仓库 Issue 和 Pull Request 补充。

下一步

同方向阅读