論文の概要: From Views to Worlds: Active Exploration over 3D Worlds for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.24676v1
• Date: Sat, 17 Oct 2026 13:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 17:00:54.851267
• Title: From Views to Worlds: Active Exploration over 3D Worlds for Vision-Language Models
• Title（参考訳）: 視点から世界へ:視覚言語モデルのための3次元世界への積極的な探索
• Abstract要約: View-to-World(V2W)は、視覚言語モデルによる3Dワールドの探索を可能にする、アクティブな探索フレームワークである。 V2Wは、幾何学、カメラポーズ、言語によるセマンティクスで明快な3D世界を再構築し、視覚的および言語的インタフェースを通じてVLMに公開する。 空間的精神モデルベンチマークの実験により、V2Wはトレーニング不要な環境でのVLMベースラインを大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 51.9444667797205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have achieved remarkable progress in 2D visual understanding tasks, yet the passive view-centric perception paradigm limits their capacity for 3D spatial reasoning. Such reasoning often requires actively acquiring spatial evidence beyond the currently visible views, such as camera poses and cross-view spatial relationships, to infer 3D relationships that are not explicitly represented in 2D images. However, existing methods either lack active exploration or merely provide additional views during inference, without explicitly acquiring such spatial evidence beyond 2D images. In this paper, we propose View-to-World (V2W), an active exploration framework that enables VLMs to actively explore 3D worlds and lifts VLMs from passive view-centric perception to active world-centric spatial reasoning. Given a spatial reasoning task with multi-view images, V2W first reconstructs an explicit 3D world with geometry, camera poses, and language-grounded semantics, and exposes it to VLMs through visual and linguistic interfaces. Through multi-turn interaction with these interfaces, VLMs iteratively acquire spatial evidence from the constructed 3D world, enabling active world-centric spatial reasoning. V2W can be integrated with existing VLMs in a training-free manner and can be further enhanced by optimizing the exploration policy via reinforcement learning. Experiments on spatial mental modeling benchmarks demonstrate that V2W substantially improves VLM baselines in the training-free setting and achieves state-of-the-art performance with the learned exploration policy, highlighting the importance of active exploration for spatial intelligence. Project page: \url{https://fangzhou2000.github.io/projects/v2w}.
• Abstract（参考訳）: 視覚言語モデル(VLM)は2次元視覚理解タスクにおいて顕著な進歩を遂げているが、受動的視点中心の知覚パラダイムは3次元空間推論の能力を制限する。 このような推論は、しばしば2D画像で明示的に表現されていない3D関係を推測するために、カメラのポーズや横方向の空間関係のような、現在見える視点を超えた空間的証拠を積極的に取得する必要がある。 しかし、既存の手法では2次元画像以外の空間的証拠を明示的に取得することなく、活発な探索を欠いているか、推論中に追加の視点を提供するだけである。 本稿では,VLMが積極的に3次元世界を探索し,受動的視点中心の知覚からアクティブな世界中心の空間的推論までVLMを持ち上げることのできる,アクティブな探索フレームワークであるView-to-World(V2W)を提案する。 多視点画像を用いた空間的推論タスクを与えられたV2Wは、まず幾何学、カメラポーズ、言語的セマンティクスで明快な3D世界を再構成し、視覚的および言語的インタフェースを通じてVLMに公開する。 これらのインタフェースとの多ターン相互作用により、VLMは構築された3次元世界から空間的証拠を反復的に取得し、活発な世界中心の空間的推論を可能にする。 V2Wは、既存のVLMとトレーニングフリーで統合することができ、強化学習による探索ポリシーの最適化により、さらに強化することができる。 空間的心的モデリングのベンチマーク実験により、V2Wはトレーニングフリー環境でのVLMベースラインを大幅に改善し、学習された探索ポリシーで最先端のパフォーマンスを実現し、空間知能のための活発な探索の重要性を強調した。 プロジェクトページ: \url{https://fangzhou2000.github.io/projects/v2w}。

関連論文リスト

• VistaVLA: Geometry- and Semantic-Aware 3D Gaussian-Grounded VLA for Robotic Manipulation [7.753769810587787]
  VLA(Vision-Language-Action)モデルは、言語命令と2次元視覚入力を直接アクションにマッピングすることで、ロボット操作のための強力なエンドツーエンドパラダイムとして登場した。 これらのモデルには明確なシーンレベルの3D表現がなく、空間的レイアウトや幾何学的制約について推論する能力に制限がある。 本稿では3次元ガウスプリミティブから幾何学的・意味論的3次元認知表現を構築する新しいフレームワークVistaVLAを提案する。
  論文  参考訳（メタデータ） (2026-07-14T05:08:50Z)
• Think3D: Thinking with Space for Spatial Reasoning [54.518667686880114]
  本稿では,視覚大モデル(VLM)を3次元空間で考えることを可能にするフレームワークであるThink3Dを紹介する。 追加のトレーニングがなければ、Think3Dは高度なモデルの空間推論性能を大幅に改善する。 本研究は,マルチモーダルエージェントのより柔軟で人間らしい3D推論への道筋として,無トレーニングでツールを付加した空間探索が有効であることを示す。
  論文  参考訳（メタデータ） (2026-01-19T13:13:54Z)
• G$^2$VLM: Geometry Grounded Vision Language Model with Unified 3D Reconstruction and Spatial Reasoning [36.62798449863548]
  VLM(Vision-Language Models)は、空間知能にはまだ堅牢性がない。 G$2$VLMは空間知能の2つの基本的な側面を橋渡しする視覚言語モデルである。
  論文  参考訳（メタデータ） (2025-11-26T18:59:39Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
  身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。 アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。 モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-05T14:15:52Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。