GraphWrit3R: End-to-End 3D Scene Graph Writing
Abstractの概要
GraphWrit3Rは、点群、3D Gaussian Splatting、またはその両方から3Dシーングラフを直接生成し、物体、属性、関係性からなる構造化JSONグラフを出力するエンドツーエンドの手法です。本システムは、共通のボクセルグリッド上でSonataを用いて点群を、Chorusを用いてGaussian splatsをエンコードし、同一箇所のトークンを融合した後、ファインチューニングされた言語モデルでシーングラフをデコードします。単一モデルで複数の入力モダリティに対応するため、本論文では2つのエンコーダ特徴空間を対応付けるボクセルごとの対照アライメント損失を導入しています。3DSSGおよび関連評価における実験により、高いシーングラフ再現率、モダリティおよび融合の選択に関する分析、そして関係性の共同教師あり学習が物体検出をも改善し得ることが示されています。
新規性
本論文は、3Dシーングラフ生成を直接的な「シーングラフ記述」として定式化し、推論時に明示的な中間物体パイプライン、商用API、正解の物体アノテーションを必要とせずに構造化JSONを出力する、完全なエンドツーエンドの潜在パイプラインを実現しています。また、点群とGaussian splatsのための統一されたマルチモーダル設計を導入し、非対称なボクセルごとの対照アライメント損失と組み合わせることで、単一の重みセットで異なる3D入力を処理できるようにしています。
成果
3DSSGおよびRIO10の評価において、GraphWrit3Rは推論時に正解物体バウンディングボックスを必要としない比較手法の中で、物体、述語、トリプレットの各指標にわたり全体として最も高い再現率を達成しました。ScanNetへの強力なゼロショット転移（特に述語再現率）を示し、関係性の共同教師あり学習によってSpatialLMを上回るScanNet20物体検出の改善も見られました。アブレーション研究により、点群推論が最も強力であること、そして単純な平均融合を伴う非対称対照アライメントがマルチモーダル性能に不可欠であることが示されています。
論文の注目点
- GraphWrit3Rは、単一のエンドツーエンド潜在モデルにおいて物体と関係性を共同予測し、3D入力から完全な3DシーングラフをJSONとして直接デコードする。
- LLMデコードの前にSonataとChorusのボクセル特徴量を非対称対照損失で整列させることで、点群、Gaussian splats、またはその両方の入力をサポートする。
- 報告されたベンチマークにおいて最高水準のシーングラフ再現率を達成し、関係性の教師あり学習が物体検出にも寄与することを実証している。