論文の概要: Humans in Space: Can MLLMs Construct Human-Centric Spatial Understanding via Active Exocentric Exploration?

• arxiv url: http://arxiv.org/abs/2610.34149v1
• Date: Sun, 25 Oct 2026 08:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.546586
• Title: Humans in Space: Can MLLMs Construct Human-Centric Spatial Understanding via Active Exocentric Exploration?
• Title（参考訳）: 宇宙人:MLLMは、活動中心の探索を通して人間中心の空間理解を構築できるか?
• Abstract要約: SATE-Benchは316の現実世界シーンと2,525のマルチターンQAペアからなる対話型ベンチマークである。 PassiveのマルチビューコントロールとActive Explorationの設定を組み合わせることで、モデルは極めて隠蔽されたビューから始まり、隣接する視点を反復的にクエリする必要がある。 最先端のMLLMは、高い信頼性を報告しながら調査を早期に終了し、きめ細かな3D幾何学的タスクに苦労していることが判明した。
• 参考スコア（独自算出の注目度）: 17.012685931233445
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While Multimodal Large Language Models (MLLMs) excel at zero-shot reasoning, their spatial capabilities are primarily evaluated through static, passive observation. In complex, human-centric scenes, occlusion often hides crucial geometric evidence, and passive benchmarks force models to guess rather than recognize their own visual uncertainty. To bridge this gap, we introduce SATE-Bench, a novel interactive benchmark comprising 316 real-world scenes and 2,525 multi-turn QA pairs to evaluate visual self-awareness and active exocentric view-exploration. It combines a Passive multi-view control with an Active exploration setting, where models start from a severely occluded view and must iteratively query adjacent viewpoints until they gather enough evidence to fully ``sate'' the question, scored by a step-penalized efficiency reward. Evaluating state-of-the-art MLLMs reveals that they terminate exploration prematurely while reporting high confidence, and struggle with fine-grained 3D geometric tasks; matched-view controls further attribute the Active--Passive gap primarily to insufficient evidence acquisition. Moreover, fine-tuning with Group Relative Policy Optimization (GRPO) shows that rewarding view-seeking increases active exploration but lowers overall accuracy, as models over-explore and fail to fuse expanding multi-view contexts across turns. These findings indicate that scaling passive multi-view perception does not intrinsically yield active spatial reasoning, highlighting the need for models that know where to look, how to integrate what they see, and when to stop. Code and data are available at https://gtc-gh.github.io/SATE-Bench/
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)はゼロショット推論において優れているが、その空間的能力は主に静的な受動的観察によって評価される。 複雑な人間中心のシーンでは、隠蔽はしばしば重要な幾何学的証拠を隠蔽し、受動的ベンチマークは、自身の視覚的不確実性を認識するのではなく、モデルに推測を強制する。 このギャップを埋めるために,316の現実世界シーンと2,525のマルチターンQAペアからなる対話型ベンチマークSATE-Benchを導入する。 PassiveのマルチビューコントロールとActive Explorationの設定を組み合わせることで、モデルは非常に隠蔽された視点から始まり、ステップペン化された効率報酬によって得られる質問を完全に'sate'する十分な証拠を集めるまで、隣接する視点を反復的にクエリする必要がある。 最先端MLLMの評価は、高い信頼性を報告しながら調査を早期に終了し、きめ細かい3次元幾何学的課題に苦しむことを明らかにしている。 さらに、グループ相対政策最適化(GRPO)による微調整により、報奨視点探索は活発な探索を増大させるが、モデルが過度に露出し、ターンにまたがる多視点コンテキストの融合に失敗するため、全体的な精度を低下させることが示された。 これらの結果は、受動的多視点知覚のスケーリングは、本来は活動的な空間的推論をもたらすものではなく、見える場所、見えるものの統合方法、停止するタイミングを知るモデルの必要性を強調していることを示している。 コードとデータはhttps://gtc-gh.github.io/SATE-Bench/で公開されている。

関連論文リスト

• ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop [55.468404995694975]
  我々は,OmniGibson上に構築された10のタスクカテゴリと29のサブカテゴリにまたがる空間知能の具体化ベンチマークを開発した。 我々は最先端のMLLMの実験を行い、活発な探索が受動的に優れていることを発見した。 矛盾した視点を求め、信念を改定する人間とは異なり、モデルは証拠の品質に関わらず、高い信頼をもって早々に行動する。
  論文  参考訳（メタデータ） (2026-05-18T17:59:02Z)
• Do MLLMs Understand Pointing? Benchmarking and Enhancing Referential Reasoning in Egocentric Vision [22.502853661316028]
  EgoPoint-Benchは、egocentric viewにおけるマルチモーダルポインティング推論の評価と強化を目的とした総合的な質問応答ベンチマークである。 合成データに微調整を施したモデルが,性能向上とロバストなsim-to-realの一般化を実現していることを示す。 この研究は、空間的に意識された監視の重要性を強調し、正確な自我中心のAIアシスタントへのスケーラブルなパスを提供する。
  論文  参考訳（メタデータ） (2026-04-23T09:15:42Z)
• Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration? [83.13508919229939]
  宇宙の理論は、自己指向的かつ活発な探索を通じて情報を得るエージェントの能力として定義される。 重要な革新は空間的信念の探索であり、各ステップでモデルが空間的表現を明らかにするように促す。 この結果から,現在の基盤モデルでは,活発な探査において,コヒーレントで変更可能な空間的信念の維持に苦慮していることが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T19:06:40Z)
• When Seeing Is not Enough: Revealing the Limits of Active Reasoning in MLLMs [29.198301196459834]
  MLLM(Multimodal large language model)は、幅広いベンチマークで強力な機能を示している。 既存の評価のほとんどは受動的推論に重点を置いており、モデルが完全な情報の下でステップバイステップの推論を行う。 MLLMは不完全な情報の下で行方不明の証拠を積極的に取得できるのか? 我々はMLLMに、タスク固有の事前情報のない候補プールから目標画像を選択することにより、欠落した証拠を積極的に取得し、不完全な情報の下で決定を反復的に洗練するよう要求する。 20個の優れたMLLMを評価したところ、アクティブな推論ラグがパッシブな設定ではるかに遅れていることが分かり、かなりの余地があることが示唆された。
  論文  参考訳（メタデータ） (2025-10-17T08:17:27Z)
• VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
  検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。 出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。 本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:32:08Z)
• OST-Bench: Evaluating the Capabilities of MLLMs in Online Spatio-temporal Scene Understanding [50.72259772580637]
  エージェントの観点から,オンライン時空間理解を評価するためのベンチマークOST-Benchを紹介する。 効率的なデータ収集パイプライン上に構築されたOST-Benchは、ScanNet、Matterport3D、ARKitScenesから収集された1.4kのシーンと10kの質問応答ペアで構成されている。 複雑な空間的推論要求と長期記憶検索要求の両方が、2つの別々の軸に沿ってモデル性能を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2025-07-10T17:56:07Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。