論文の概要: World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning

• arxiv url: http://arxiv.org/abs/2604.26934v1
• Date: Wed, 29 Apr 2026 17:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.530064
• Title: World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning
• Title（参考訳）: World2VLM:動的空間推論のための世界モデルイマジネーションをVLMに蒸留する
• Authors: Wanyue Zhang, Wenxiang Wu, Wang Xu, Jiaxin Luo, Helu Zhi, Yibin Huang, Shuo Ren, Zitao Liu, Jiajun Zhang,
• Abstract要約: 視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。 彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。 生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
• 参考スコア（独自算出の注目度）: 18.658825757342544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have shown strong performance on static visual understanding, yet they still struggle with dynamic spatial reasoning that requires imagining how scenes evolve under egocentric motion. Recent efforts address this limitation either by scaling spatial supervision with synthetic data or by coupling VLMs with world models at inference time. However, the former often lacks explicit modeling of motion-conditioned state transitions, while the latter incurs substantial computational overhead. In this work, we propose World2VLM, a training framework that distills spatial imagination from a generative world model into a vision-language model. Given an initial observation and a parameterized camera trajectory, we use a view-consistent world model to synthesize geometrically aligned future views and derive structured supervision for both forward (action-to-outcome) and inverse (outcome-to-action) spatial reasoning. We post-train the VLM with a two-stage recipe on a compact dataset generated by this pipeline and evaluate it on multiple spatial reasoning benchmarks. World2VLM delivers consistent improvements over the base model across diverse benchmarks, including SAT-Real, SAT-Synthesized, VSI-Bench, and MindCube. It also outperforms the test-time world-model-coupled methods while eliminating the need for expensive inference-time generation. Our results suggest that world models can serve not only as inference-time tools, but also as effective training-time teachers, enabling VLMs to internalize spatial imagination in a scalable and efficient manner.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、静的な視覚的理解において強い性能を示してきたが、エゴセントリックな動きの下でのシーンの進化を想像する必要がある動的な空間的推論に苦慮している。 近年の取り組みでは、空間的な監視を合成データとスケーリングするか、VLMを推論時に世界モデルと結合させることによってこの制限に対処している。 しかしながら、前者は運動条件状態遷移の明示的なモデリングを欠いていることが多いが、後者は計算オーバーヘッドがかなり大きい。 本研究では,生成的世界モデルから視覚言語モデルへ空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。 初期観測とパラメタライズドカメラの軌跡を考慮し、幾何学的に整合した将来のビューを合成し、前方(アクション・ツー・アウトカム)と逆(アクション・ツー・アクション)の空間的推論のための構造化された監督を導出する。 我々は,このパイプラインによって生成されたコンパクトなデータセット上で,2段階のレシピでVLMをポストトレーニングし,複数の空間推論ベンチマークで評価する。 World2VLMはSAT-Real、SAT-Synthesized、VSI-Bench、MindCubeなど、さまざまなベンチマークでベースモデルに対して一貫した改善を提供している。 また、高コストな推論時間生成の必要性を排除しつつ、テストタイムの世界モデル結合手法よりも優れています。 この結果から,世界モデルは推論時だけでなく,効果的な訓練時教師としても機能し,VLMが空間的想像力をスケーラブルかつ効率的に内部化できることが示唆された。

関連論文リスト

• Learning Vision-Language-Action World Models for Autonomous Driving [15.103497388527943]
  VLA(Vision-Language-Action)モデルは最近、エンドツーエンドの自動運転において顕著な進歩を遂げている。 VLAモデルは時相力学と世界整合性の明示的なモデリングを欠いていることが多い。 VLA-World(VLA-World)は、予測的想像力と反射的推論を統一する、シンプルで効果的なVLA世界モデルである。
  論文  参考訳（メタデータ） (2026-04-10T07:38:05Z)
• Causal World Modeling for Robot Control [56.31803788587547]
  ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。 本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。 シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
  論文  参考訳（メタデータ） (2026-01-29T17:07:43Z)
• Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
  我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。 実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。 次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
  論文  参考訳（メタデータ） (2026-01-24T07:43:57Z)
• VDAWorld: World Modelling via VLM-Directed Abstraction and Simulation [23.86958300272144]
  VDAWorldは、視覚言語モデル(VLM)がインテリジェントなエージェントとして機能し、このプロセスを編成するフレームワークである。 VLMは、一連の視覚ツールから選択することで、グラウンドド(2Dまたは3D)シーン表現を自律的に構築する。 静的なシーンから潜在ダイナミクスを推論して、妥当な将来の状態を予測できる。
  論文  参考訳（メタデータ） (2025-12-11T19:21:47Z)
• Can World Models Benefit VLMs for World Dynamics? [59.73433292793044]
  本研究では,世界モデル先行モデルがビジョンランゲージモデルに移行した場合の能力について検討する。 最高の性能を持つDynamic Vision Aligner (DyVA) と名付けます。 DyVAはオープンソースとプロプライエタリの両方のベースラインを超え、最先端または同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-10-01T13:07:05Z)
• Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
  我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。 ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。 我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
  論文  参考訳（メタデータ） (2025-08-28T14:31:48Z)
• MindJourney: Test-Time Scaling with World Models for Spatial Reasoning [97.61985090279961]
  視覚言語モデルのためのテスト時間スケーリングフレームワークであるMindJourneyを提案する。 我々は,代表的空間推論ベンチマークSATにおいて,MindJourneyが平均7.7%以上の性能向上を達成したことを示す。 また,本手法は,強化学習により訓練した試験時間推定VLMも改善する。
  論文  参考訳（メタデータ） (2025-07-16T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。