論文の概要: Boosting MLLM Spatial Reasoning with Geometrically Referenced 3D Scene Representations

• arxiv url: http://arxiv.org/abs/2603.08592v1
• Date: Mon, 09 Mar 2026 16:42:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:16.50433
• Title: Boosting MLLM Spatial Reasoning with Geometrically Referenced 3D Scene Representations
• Title（参考訳）: 幾何学的に参照された3次元シーン表現を用いたMLLM空間推論
• Authors: Jiangye Yuan, Gowri Kumar, Baoyuan Wang,
• Abstract要約: 幾何学的に参照された3次元シーン表現(GR3D)を導入する。 GR3Dは画像内のオブジェクトにユニークなIDを付加し、3Dの幾何学的属性をこれらのIDによってインデックスされたテキスト参照としてエンコードする。 この表現により、MLLMは数学的推論において高度な言語ベースのスキルを用いて3Dキューを解釈することができる。
• 参考スコア（独自算出の注目度）: 22.197086495542816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Multimodal Large Language Models (MLLMs) have achieved remarkable success in 2D visual understanding, their ability to reason about 3D space remains limited. To address this gap, we introduce geometrically referenced 3D scene representations (GR3D). Given a set of input images, GR3D annotates objects in the images with unique IDs and encodes their 3D geometric attributes as textual references indexed by these IDs. This representation enables MLLMs to interpret 3D cues using their advanced language-based skills in mathematical reasoning, while concurrently analyzing 2D visual features in a tightly coupled way. We present a simple yet effective approach based on GR3D, which requires no additional training and is readily applicable to different MLLMs. Implemented in a zero-shot setting, our approach boosts GPT-5's performance on VSI-Bench by 8% overall and more than 11% on tasks that rely heavily on spatial layout understanding. Qualitative studies further demonstrate that GR3D empowers MLLMs to perform complex spatial reasoning with highly sparse input views.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、2次元の視覚的理解において顕著な成功を収めているが、3次元空間について推論する能力は依然として限られている。 このギャップに対処するために,幾何学的に参照された3次元シーン表現(GR3D)を導入する。 GR3Dは入力画像のセットが与えられたとき、画像内のオブジェクトにユニークなIDを付加し、3Dの幾何学的属性をこれらのIDによってインデックスされたテキスト参照としてエンコードする。 この表現により、MLLMは数学的推論において高度な言語ベースのスキルを用いて3次元のキューを解釈でき、同時に2次元の視覚的特徴を密結合的に解析することができる。 GR3Dをベースとした簡易かつ効果的なアプローチを提案する。 ゼロショットで実装した手法では,空間的レイアウト理解に大きく依存するタスクに対して,GPT-5のVSI-Benchに対する性能を8%以上向上させる。 さらに質的研究により、GR3DはMLLMに高度にスパースな入力ビューで複雑な空間的推論を行う権限を与えることが示されている。

関連論文リスト

• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• Video-3D LLM: Learning Position-Aware Video Representation for 3D Scene Understanding [19.382210260928776]
  Video-3D LLMは3Dシーンをダイナミックビデオとして扱い、3D位置エンコーディングをこれらの表現に組み込む。 本モデルは,複数の3次元シーン理解ベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-30T14:28:53Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。