IGGT#

旧有方法#

• 解耦 3D 几何重建和高级语义理解为独立任务
• 先利用几何方法预测 3D 结构，再通过 VLMs / 2D seg 模型进行语义分割
• ->对齐
  • 1.对齐高级文本概念可能会使表示过度平滑
  • 2.依赖基础模型能力（没有集成）
  • 3.缺乏 3D 能力 （数据问题）
• 几何头 + 实例头 解码为几何场和实例场
• 滑动窗口移位注意力的跨模态融合模块
• 一致性对比学习

数据集#

• 合成数据集 Aria, Infinigen
• 视频捕获 初始帧 prompt 时间传递
• RGBD 扫描 ScanNet++

方法#

统一 Transformer 1B#

• 多视图图像编码成一组 Token
  • $M$ （Token数量） $\times D$ （Token维度） $\times N$
• 预训练的 DINOv2 提取图像 Token
  • 连接一个可学习的相机 Token
• self/cross attention

下游头#

3D 一致性对比监督#

• 多视图监督
• loss

基于实例的场景理解#

• 实例空间跟踪 聚类
• 开放词汇语义分割
  • 我理解的是对一整个区域分配语义？
• QA 场景定位
  • 大型多模态模型交互 是/否
  • LMMs(大型多模态模型)
  • 做了一个监督？

实验#

相关工作#

• 空间基础模型
• 3D 场景理解

训练细节#

• $8 \times A800$ GPUs 2 天