Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering
Abstractの概要
Imagine3D-LLMは、画像トークンとテキストトークンの間に学習可能な少数のガウス要約トークンを挿入し、回答を生成する前にそれらのトークンをコンパクトな3D Gaussian Splattingシーン表現へとデコードするマルチビュー対応のマルチモーダル大規模言語モデルです。本モデルは、標準的な言語モデリング、入力視点のフォトメトリック再構成、および収束を早めるためのコンパクトなガウス教師モデルからの蒸留を用いて共同訓練されます。論文では、このボトルネック化された再構成プロセスにより、高密度なピクセルレベルの幾何情報のみに頼ることなく、視点間で重複するコンテンツがオブジェクトレベルかつ視点一貫性のある表現へと統合されると論じられています。さらに分析により、再構成の教師信号が画像特徴内の視点間対応関係を先鋭化させ、明示的なオブジェクト監督なしに要約トークンがオブジェクト単位で自然にグループ化されることが示されています。
新規性
独自の発想は、ガウス要約トークンを内部ボトルネックとして活用し、MLLMが言語回答を出力する前にマルチビュー画像から粗い3Dシーン表現を明示的に「想像」できるようにした点にあります。微細な幾何信号や外部3D特徴を直接注入する従来手法とは異なり、本手法はLLMの内部でコンパクトなオブジェクト中心の3D表現を学習し、その表現に基づいて推論を行います。
成果
7つのベンチマーク全体で、本モデルは従来の3D MLLMや強力な2Dベースラインを一貫して上回る性能向上を示しました。SPAR-Benchでは平均精度68.5を達成して3DThinker-7Bの63.3を上回り、ScanNetベースのタスクでも同一バックボーンやデータ等を用いた統制環境下のベースラインを改善しています。アブレーション解析により、性能向上の主な要因は再構成の目的関数であり、教師蒸留は主に訓練の収束を早める役割を果たしていることが示されています。
論文の注目点
- マルチビュー視覚トークンに学習可能なガウス要約トークンを追加し、LLMの中間層でそれらをコンパクトな3D Gaussianシーン表現へとデコードする手法を提案。
- トークンボトルネックによって視点間でのオブジェクトレベルの集約を促進し、視点間対応の先鋭化や自発的なオブジェクト中心のクラスタリングが生じることを分析で実証。
- ScanNetベースの3D推論・キャプショニング・グラウンディングベンチマークで従来手法を凌駕し、SPAR-Benchにおいて最先端の精度を達成。