論文の概要: What Makes a Good Visual Representation for Spatial Understanding in MLLMs?

• arxiv url: http://arxiv.org/abs/2610.17844v1
• Date: Tue, 13 Oct 2026 07:05:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:02:27.252515
• Title: What Makes a Good Visual Representation for Spatial Understanding in MLLMs?
• Title（参考訳）: MLLMにおける空間的理解のための良い視覚表現とは何か?
• Abstract要約: 視覚表現を空間的理解に役立てるものについて検討する。 表現の3次元構造は、それがどれだけ役に立つかと強く関連している。 我々は、潜在特徴と明示的幾何学の両方を単一のMLLMに蒸留する。
• 参考スコア（独自算出の注目度）: 16.69936242018187
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Spatial understanding is a necessary step in moving multimodal large language models (MLLMs) toward reasoning about the 3D physical world. Their visual pretraining data, however, is almost entirely 2D, so the visual tokens processed by MLLMs often lack inherent 3D structural information. A growing number of methods inject such structure by transferring representations from external vision or geometry models, and collectively establish that such transfer helps. Behind these methods lies a largely underexplored question: what makes a visual representation good for spatial understanding? To answer it, we first separate what is transferred from how it is transferred, and then trace the resulting differences back to properties of the representations themselves. What we transfer comes from 3D geometry models, self-supervised image and video models, vision-language models, and generative models, in the form of latent features or explicit depth and point maps. We transfer it either by distillation, using it as a supervision target, or by fusion, feeding it as an additional input. We find that a representation's 3D structure correlates strongly with how much it helps, measured by cross-view consistency for latent features and by depth and reconstruction accuracy for explicit geometry. We further show that the form of a representation dictates the mechanism it needs. Latent features gain as much from fusion as from distillation; explicit geometry gains little from fusion, and most of its distillation gain depends on a geometry decoding head. Guided by these findings, we distill both latent features and explicit geometry into a single MLLM. Taking only RGB video as input, it consistently improves over its base model on both static 3D and dynamic 4D spatial reasoning benchmarks.
• Abstract（参考訳）: 空間的理解は、多モーダルな大言語モデル(MLLM)を3次元物理世界についての推論へと移行させるために必要なステップである。 しかし、彼らの視覚前訓練データはほぼ完全に2Dなので、MLLMによって処理される視覚トークンは固有の3D構造情報を欠いていることが多い。 外部の視覚や幾何学モデルから表現を移譲することで、そのような構造を注入する手法が増えている。 これらの手法の背後には、ほとんど探索されていない疑問がある。空間的理解のために視覚的表現が良い理由は何なのか? 答えるには、まず転送方法から転送されるものを分離し、結果の差を表現自体の特性に遡る。 私たちが移行するのは、3D幾何学モデル、自己教師付き画像およびビデオモデル、視覚言語モデル、および生成モデルから来ています。 蒸留、監督対象としての使用、または核融合により移行し、追加入力として供給する。 表現の3次元構造は, 潜在特徴の相互視整合性, 明示的幾何の深さと復元の精度など, どれだけの助けになるかに強く関連している。 さらに、表現の形式が必要なメカニズムを規定していることも示します。 潜在的特徴は蒸留と同様に融合によって得られるが、明示的な幾何学的特徴は融合によってほとんど得られず、その蒸留的特徴の多くは幾何復号ヘッドに依存している。 これらの知見に導かれて,我々は潜伏した特徴と明示的な幾何学の両方を1つのMLLMに蒸留した。 RGBビデオのみを入力として、静的3Dおよび動的4D空間推論ベンチマークのベースモデルを改善する。

関連論文リスト

• Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering [117.00090778730738]
  マルチビュー画像から3次元世界を考えることは、マルチモーダル大言語モデルにとって根本的な課題である。 シーンのコンパクトな3D表現を組み立てることを学ぶMLLMであるImagine3D-LLMを紹介する。 本研究では,複数の空間的推論と3次元理解ベンチマークにおいて,Imagine3D-LLMが従来手法より一貫して優れていたことを示す。
  論文  参考訳（メタデータ） (2026-09-29T17:59:52Z)
• Cog3DMap: Multi-View Vision-Language Reasoning with 3D Cognitive Maps [77.63233146945718]
  マルチビュー画像から明示的な3Dメモリを連続的に構築するフレームワークであるCog3DMapを紹介する。 本フレームワークは空間的に構造化された3次元マップ上での直接推論を可能にし,様々な空間推論ベンチマーク上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2026-03-24T10:05:32Z)
• Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding [50.098085774845195]
  本稿では,大規模生成モデルにおいて暗黙の空間的先行性を活用することで,パラダイムシフトを提案する。 GeneEGA-3D (Video Extracted Generative Awareness) は,事前学習した映像拡散モデルを潜在世界シミュレータとして再利用するプラグイン・アンド・プレイ・フレームワークである。
  論文  参考訳（メタデータ） (2026-03-19T17:59:58Z)
• Language and Geometry Grounded Sparse Voxel Representations for Holistic Scene Understanding [22.218083641125137]
  既存の3Dシーン理解手法は、主に2D基礎モデルから3D特徴体に言語特徴を蒸留する。 言語と幾何学を基礎としたスパースボクセル表現を利用して、外観、意味論、幾何学を包括的にモデル化する新しいアプローチを提案する。 本手法は,全体像の理解と再構築における最先端手法と比較して,全体的な性能を向上する。
  論文  参考訳（メタデータ） (2026-02-17T17:10:13Z)
• Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling [68.14113731953971]
  本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。 提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-12-01T16:01:41Z)
• IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
  人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。 本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
  論文  参考訳（メタデータ） (2025-10-26T14:57:44Z)
• Shape from Semantics: 3D Shape Generation from Multi-View Semantics [30.969299308083723]
  既存の3D再構成手法では, 3次元画像, 3次元点雲, 形状輪郭, 単一意味論などのガイダンスを用いて3次元表面を復元する。 図形や外観が、異なる視点から見ると、与えられたテキストの意味と一致した3Dモデルを作成することを目的として、新しい3Dモデリングタスク「Shape from Semantics'」を提案する。
  論文  参考訳（メタデータ） (2025-02-01T07:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。