論文の概要: Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators

• arxiv url: http://arxiv.org/abs/2606.06476v1
• Date: Thu, 04 Jun 2026 17:56:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:45.027994
• Title: Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators
• Title（参考訳）: 想像で考える:世界シミュレーターを用いたエージェント型視覚空間推論
• Authors: Chenming Zhu, Jingli Lin, Yilin Long, Peizhou Cao, Tai Wang, Jiangmiao Pang, Xihui Liu,
• Abstract要約: アストラ(Astra)は、視覚・言語モデルに行動条件の視覚的想像力を与えるエージェント空間推論フレームワークである。 Astra-WMは、コンテキストイメージと自然言語カメラモーションから、新しい視点の観察を生成する。 Astra-VLはMMSI-Bench上のシミュレータ強化されたGemini-3-Flashを45.1から49.5に改善し、Astra-WMはQwen3-VLのバックボーンを29.8から38.8に改善した。
• 参考スコア（独自算出の注目度）: 47.82334178124797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Vision-Language Models (VLMs) have shown strong visual reasoning capabilities, their spatial reasoning abilities remain largely constrained to the observed images and text-oriented chain-of-thought. They often struggle to infer unobserved layouts, maintain cross-view consistency, and reason from alternative viewpoints when only limited egocentric observations are available. In this work, we study this problem as thinking with imagination, where a VLM actively acquires imagined visual evidence by interacting with a world simulator during reasoning. We propose Astra, an agentic spatial reasoning framework that empowers VLMs with action-conditioned visual imagination. Specifically, Astra couples Astra-VL, an RL-trained VLM policy, with Astra-WM, a Bagel-based world simulator that generates novel-view observations from context images and natural-language camera motions. To provide reliable imagined evidence, Astra-WM is trained with view consistency tuning to improve pose and content consistency across views. In the RL stage, we propose a world-simulator-in-the-loop two-phase RL curriculum to stabilize tool-use exploration and advance the model's ability to invoke the simulator only when imagined observations improve over direct answering. Experiments demonstrate that both the world simulator and the agentic policy are necessary: Astra-WM improves simulator-augmented Gemini-3-Flash on MMSI-Bench from 45.1 to 49.5, while Astra-VL improves the Qwen3-VL backbone from 29.8 to 38.8 on MMSI-Bench and from 36.8 to 42.7 on MindCube. These results show that imagined observations can provide useful spatial evidence, but effective world-model-augmented reasoning requires learning when, where, and how to imagine.
• Abstract（参考訳）: Vision-Language Models (VLM) は強力な視覚的推論能力を示しているが、その空間的推論能力は観察された画像やテキスト指向の連鎖に大きく制約されている。 彼らはしばしば、観測されていないレイアウトを推測したり、横断的な一貫性を維持したり、エゴセントリックな観察が限られている場合のみに、別の視点から考えるのに苦労する。 本研究では,この問題を想像的思考として考察し,VLMは推論中に世界シミュレーターと対話することで,想像上の証拠を積極的に取得する。 本稿では,アクション条件の視覚的想像力でVLMを実現するエージェント空間推論フレームワークであるAstraを提案する。 特に、Astra-VLは、RLで訓練されたVLMポリシーであるAstra-VLと、コンテキストイメージと自然言語カメラモーションから新しいビューの観察を生成するベーゲルのワールドシミュレータであるAstra-WMを結合する。 信頼できる想像上の証拠を提供するため、Astra-WMはビュー間のポーズとコンテントの一貫性を改善するために、ビュー一貫性チューニングをトレーニングしている。 RLの段階では,ツールユース探索を安定化し,直接応答よりも予測された観察が改善した場合にのみシミュレータを起動する能力を向上させるために,世界シミュレーター・イン・ザ・ループ2相RLカリキュラムを提案する。 Astra-WMはMMSI-Bench上のシミュレータ強化されたGemini-3-Flashを45.1から49.5に改善し、Astra-VLはQwen3-VLのバックボーンを29.8から38.8に改善し、MindCubeでは36.8から42.7に改善した。 これらの結果は、想像された観察は有用な空間的証拠を提供するが、効果的な世界モデル拡張推論には、いつ、どこで、どのように想像するかを学ぶ必要があることを示している。

関連論文リスト

• Plan in Sandbox, Navigate in Open Worlds: Learning Physics-Grounded Abstracted Experience for Embodied Navigation [63.11032720821731]
  textitSAGEは、エージェントがフォトリアリスティックなシミュレーションではなく、物理基底のセマンティック抽象化内で学習することを可能にするフレームワークである。 textitSAGEは、A-EQA上で53.21% LLM-Match Success Rateを達成することで、プランナー支援の実施ナビゲーションを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2026-05-11T07:34:30Z)
• World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning [18.658825757342544]
  視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。 彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。 生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
  論文  参考訳（メタデータ） (2026-04-29T17:48:01Z)
• SpatialDreamer: Incentivizing Spatial Reasoning via Active Mental Imagery [64.67498968405327]
  SpaceDreamerは、活発な探索のクローズループプロセスを通じて空間推論を可能にする強化学習フレームワークである。 GeoPOは、整合性幾何制約を伴う木構造サンプリングとステップレベルの報酬推定を導入している。
  論文  参考訳（メタデータ） (2025-12-08T17:20:50Z)
• REM: Evaluating LLM Embodied Spatial Reasoning through Multi-Frame Trajectories [19.741468026765062]
  本稿では,空間推論のための制御可能な3次元環境を用いたベンチマークREM(Reasoning over Embodied Multi-Frame Trajectories)を紹介する。 REMは、オブジェクトの永続性/識別、空間的関係、動的エンボディされた視点における数値的追跡などの重要な側面を体系的に評価する。 評価の結果、最高の性能を示す現在のモデルでは、全体的な性能が期待できるが、人間によって容易に扱える程度の複雑性レベルでは信頼性が低下していることがわかった。
  論文  参考訳（メタデータ） (2025-11-30T05:20:22Z)
• Imagine in Space: Exploring the Frontier of Spatial Intelligence and Reasoning Efficiency in Vision Language Models [23.12717700882611]
  空間的推論は人間の認知の基本的な構成要素です 現在の大規模言語モデル(LLM)と視覚言語モデル(VLM)は、論理的推論、問題解決、意思決定にまたがる顕著な推論能力を示している。 我々は空間状態の内部シミュレーションである想像力が空間世界モデルにおける支配的な推論機構であると仮定する。
  論文  参考訳（メタデータ） (2025-11-16T03:09:55Z)
• Spatial Mental Modeling from Limited Views [71.57140964322559]
  新しいMindCubeベンチマークでは、3,268枚の画像に21,154件の質問があった。 MindCubeを用いて、視覚言語モデル(VLM)がいかに堅牢な空間精神モデルを構築するかを評価する。 次に、VLMが空間的メンタルモデルに近似する3つのアプローチを探索する。
  論文  参考訳（メタデータ） (2025-06-26T16:38:19Z)
• Grounded Reinforcement Learning for Visual Reasoning [51.94871616778874]
  我々は、強化学習で訓練された視覚言語モデルViGoRL(Visually Grounded Reinforcement Learning)を紹介する。 人間の視覚的意思決定にインスパイアされたViGoRLは、空間的に根拠のある推論トレースを生成することを学ぶ。 この結果から,RLは汎用的な視覚的推論を用いたモデル入力の強力なパラダイムであることが示唆された。
  論文  参考訳（メタデータ） (2025-05-29T17:20:26Z)
• Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
  RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。 実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。