論文の概要: From Sight to Foresight: Predictive Spatial Reasoning in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.04139v1
- Date: Fri, 02 Oct 2026 23:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 19:54:58.834565
- Title: From Sight to Foresight: Predictive Spatial Reasoning in Vision-Language Models
- Title（参考訳）: 視線から視線へ:視覚言語モデルにおける予測的空間推論
- Abstract要約: 本研究では空間的推論と将来予測のための計量スケールのVLMであるSpatialMindを紹介する。
距離深度アダプタは空間推論を現実世界のスケールに固定し、進行状態チェーンは現在の空間状態を確立し、将来の予測の基礎としてダイナミクスを観測する。
トレーニングと評価のために,計量幾何学におけるエンティティ記述を基盤として,質問応答対を生成するスケーラブルなデータエンジンを構築した。
- 参考スコア（独自算出の注目度）: 35.71421559015918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predicting future spatial states supports collision avoidance and timely decision-making in dynamic environments. However, existing vision-language models (VLMs) and benchmarks for spatial reasoning primarily focus on observed scenes, leaving predictive spatial reasoning beyond the observed interval underexplored. To this end, we introduce SpatialMind, a metric-scale VLM for spatial reasoning and future prediction. Its metric depth adapter anchors spatial reasoning to real-world scale, while its progressive state chain establishes current spatial states and observed dynamics as the foundation for future prediction. Given a video prefix, SpatialMind predicts distances, motion directions, and spatial relations in both observed and unseen future frames. For training and evaluation, we build a scalable data engine that grounds entity descriptions in metric geometry to generate question-answer pairs and state supervision. Using this engine, we construct the SpatialMind-30K dataset and the SpatialMind-2K benchmark, both covering driving and everyday egocentric scenes. The benchmark spans eight tasks across three levels: current-state understanding, observed-dynamics understanding, and future prediction. Experiments show that SpatialMind substantially outperforms both general and spatially specialized models on our benchmark while achieving competitive zero-shot performance on VSI-Bench, OSI-Bench, and VLM4D.
- Abstract（参考訳）: 将来の空間状態の予測は、動的環境における衝突回避とタイムリーな意思決定をサポートする。
しかし、既存の視覚言語モデル(VLM)と空間推論のためのベンチマークは主に観察されたシーンに焦点を当てており、観測された間隔を超えて予測的な空間推論が残されている。
この目的のために,空間推論と将来予測のためのメカニカルスケールVLMであるSpatialMindを紹介する。
距離深度アダプタは空間推論を現実世界のスケールに固定し、進行状態チェーンは現在の空間状態を確立し、将来の予測の基礎としてダイナミクスを観測する。
ビデオプレフィックスが与えられた場合、SpatialMindは、観測された将来のフレームと見えない将来のフレームの両方における距離、動き方向、空間的関係を予測する。
トレーニングと評価のために,計量幾何学におけるエンティティ記述を基盤として,質問応答ペアと状態監視を生成するスケーラブルなデータエンジンを構築した。
このエンジンを用いて、運転シーンと日常生活シーンの両方をカバーするSpatialMind-30KデータセットとSpatialMind-2Kベンチマークを構築した。
ベンチマークは、現在の理解、観察力学の理解、将来の予測という、3つのレベルにわたる8つのタスクにまたがる。
実験により、SpatialMindは、VSI-Bench、OSI-Bench、VLM4D上での競合ゼロショット性能を達成しつつ、我々のベンチマークで一般的なモデルと空間特化モデルの両方を大幅に上回っていることが示された。
関連論文リスト
- SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。
データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。
さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
論文 参考訳（メタデータ） (2026-07-02T06:56:29Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳（メタデータ） (2026-05-11T12:44:26Z) - World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning [18.658825757342544]
視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。
彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。
生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
論文 参考訳（メタデータ） (2026-04-29T17:48:01Z) - ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。
本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:59:42Z) - ForecastOcc: Vision-based Semantic Occupancy Forecasting [16.699381591572163]
ForecastOccは視覚に基づくセマンティック占有予測のための最初のフレームワークであり、将来の占有状況とセマンティックカテゴリーを予測する。
本フレームワークは,過去のカメラ画像から直接,外部推定地図に頼らずに,複数の地平線に対するセマンティック占有率の予測を行う。
論文 参考訳（メタデータ） (2026-02-08T15:16:06Z) - EscherVerse: An Open World Benchmark and Dataset for Teleo-Spatial Intelligence with Physical-Dynamic and Intent-Driven Understanding [56.89359230139883]
本稿では,Teleo-Spatial Intelligence(TSI)について紹介する。
本稿では、大規模なオープンワールドベンチマーク(Escher-Bench)、データセット(Escher-35k)、モデル(Escherシリーズ)からなるEscherVerseを紹介する。
これはIntent-Driven Reasoningを体系的に評価する最初のベンチマークである。
論文 参考訳（メタデータ） (2026-01-04T14:42:39Z) - Cambrian-S: Towards Spatial Supersensing in Video [78.46305169769884]
我々は,意味認識,ストリーミングイベント認知,暗黙的な3次元空間認識,予測的世界モデリングという,言語のみの理解を超えた4つの段階を空間的スーパーセンシングとして捉えた。
VSR (long-horizon visual space recall) とVSC (continual visual space counting) の2部ベンチマークである。
次に、590Kを計算し、Cambrian-Sを訓練することで、任意の汎用能力に対して30%以上の絶対的な改善を達成し、データスケーリングの限界をテストする。
我々は,自己教師型概念実証を提示し,前方進路としての予測知覚を提案する。
論文 参考訳（メタデータ） (2025-11-06T18:55:17Z) - EvoEmpirBench: Dynamic Spatial Reasoning with Agent-ExpVer [5.855255212938064]
空間的理解と適応計画におけるモデルの能力を評価する2つの動的空間的ベンチマークを導入する。
実験の結果、我々のベンチマークは、動的空間推論と長期記憶における主流モデルの鍵となる限界を明らかにしている。
論文 参考訳（メタデータ） (2025-09-16T06:21:38Z) - Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。
次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
論文 参考訳（メタデータ） (2025-03-25T14:34:06Z) - Predicting Future Occupancy Grids in Dynamic Environment with
Spatio-Temporal Learning [63.25627328308978]
本稿では,将来の占有予測を生成するための時間的予測ネットワークパイプラインを提案する。
現在のSOTAと比較して、我々の手法は3秒の長い水平線での占有を予測している。
我々は、さらなる研究を支援するために、nulisに基づくグリッド占有データセットを公開します。
論文 参考訳（メタデータ） (2022-05-06T13:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。