PAPER POSITIONING & LINEAGE论文定位与演进坐标
WHY THIS PAPER EXISTS研究动机 / 前序局限
从头联合预训练视觉编码器与大语言模型算力消耗极大,且直接改写 LLM 参数易引发遗忘与分布破坏。
CORE SHIFT核心方法跃迁
构建 Q-Former 可学习查询接口作为信息瓶颈:先以三目标提取语言最相关视觉信息,再线性投影映射进冻结 LLM 词嵌入空间。
ARCHIVE PROVENANCEZotero / PKA 溯源
PKA 已完成论文 §3.1–3.3 与 LAVIS 官方 Q-Former 源码核查,拆解了对比/生成/匹配三重注意力掩码机制。
WHAT REMAINED遗留局限 / 开放问题
固定数量查询向量对空间细粒度位置与高密局部 OCR 文字信息可能形成压缩瓶颈。
来源与归档记录
- 档案来源:
Zotero / VLM · PKA / 10 来源研究 / BLIP-2 查询式跨模态接口.md - 文献定位:PKA 已完成论文 §3.1–3.3 与 LAVIS 官方 Q-Former 源码核查,拆解了对比/生成/匹配三重注意力掩码机制。
个人精读正文(预留)
本页先展示题录定位、知识图谱上下游与本地文献归档状态;完整分节推演与复现实验记录预留于此,后续补充正文内容。
CONNECTED IN KNOWLEDGE SYSTEM知识体系关联节点与长文