論文の概要: GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?
- arxiv url: http://arxiv.org/abs/2608.05747v1
- Date: Thu, 06 Aug 2026 08:33:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.855597
- Title: GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?
- Title（参考訳）: GST-Bench: VLMはビデオからグローバルな空間認識を開発できるか?
- Abstract要約: GST-Benchは、ビデオ理解におけるグローバル空間知能のベンチマークである。
入力ビデオには見えない新しい視点から正確な空間推定を行うモデルが必要である。
最強のゼロショットモデルはわずか42.68で、人間のスコア79.08よりはるかに低い。
- 参考スコア（独自算出の注目度）: 28.125428186179573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial intelligence is fundamental to embodied agents, yet existing benchmarks focus on local spatial perception from single or few viewpoints, overlooking global spatial awareness over continuous, long-horizon visual streams. To address this limitation, we introduce the Global-Spatial-Temporal Benchmark (GST-Bench), a VQA benchmark for global spatial intelligence in video understanding, comprising human-verified questions derived from 6,790 minutes of synthetically generated video. It requires models to perform accurate spatial inference from novel viewpoints unseen in the input video and to map egocentric observations onto global top-down images. A comprehensive evaluation of 22 state-of-the-art VLMs exposes a striking gap between models and humans: the strongest zero-shot model attains only 42.68, far below the human score of 79.08. To probe the cause of this gap, we construct GST-Bench-Local and find that models, despite strong local spatial understanding under the same task formulation, still fail to consolidate long-horizon observations into a globally consistent scene representation. We further provide GST-Train, a dataset for global spatial reasoning, as a complementary resource to facilitate future research on this challenge.
- Abstract（参考訳）: 空間知能はエージェントを具現化する上では基本的だが、既存のベンチマークでは単一の視点や少数の視点から局所的な空間認識に焦点を当てており、連続した、長い水平な視覚の流れに対する世界的空間認識を見渡している。
この制限に対処するため,ビデオ理解におけるグローバル空間インテリジェンスのためのVQAベンチマークであるGST-Bench(Global-Spatial-Temporal Benchmark)を導入する。
入力ビデオに見えない新しい視点から正確な空間推定を行い、地球上のトップダウン画像に自我中心の観測をマッピングするモデルが必要である。
最先端の22のVLMの総合的な評価では、モデルと人間の間に顕著なギャップが露出しており、最強のゼロショットモデルは、79.08という人間のスコアよりはるかに低い42.68である。
このギャップの原因を探るため、GST-Bench-Localを構築し、同じタスクの定式化の下で強い局所的理解にもかかわらず、長い水平観測を一貫したシーン表現にまとめることに失敗したモデルを見出した。
さらに,グローバル空間推論のためのデータセットであるGST-Trainを補完資源として提供し,今後の課題について検討する。
関連論文リスト
- Towards Spatial Supersensing in the Wild [35.413360698005285]
長時間の時間的地平線上での空間的スーパーセンシングを評価するためのベンチマークである$textbfVSI-Super-Wildを紹介する。
結果は、モデルは時間とともに一貫性のある世界状態追跡を必要とするタスクで一貫して失敗することを示している。
そして,空間的崩壊,セマンティックショートカット,複雑性の更新,インスタンスの混乱という4つの障害モードを診断する。
論文 参考訳（メタデータ） (2026-07-15T10:24:51Z) - OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs [49.82435858489898]
OVOS-Benchは、人間中心の空間知能をストリーミングするための完全な注釈付きベンチマークである。
348のソースビデオに関する1,680の質問で構成されている。
それぞれの質問はクエリとエビデンスインターバルを持ち、評価において、モデルはクエリの前のプレフィックスのみを表示する。
論文 参考訳（メタデータ） (2026-06-02T16:51:32Z) - Are VLMs Lost Between Sky and Space? LinkS$^2$Bench for UAV-Satellite Dynamic Cross-View Spatial Intelligence [107.79496500634691]
LinkS$2$Benchは、ダイナミックUAV映像の1,022分を200km$2$の高解像度衛星画像とリンクする。
LMMを用いたパイプラインと厳密な人間のアノテーションを用いて17.9kの高品質な質問応答ペアを構築した。
評価は、人間のベースラインとはかなりの差を示し、正確なクロスビューのダイナミックアライメントを重要なボトルネックと特定する。
論文 参考訳（メタデータ） (2026-04-02T13:22:57Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳（メタデータ） (2026-03-03T13:28:07Z) - OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios [39.58602686069029]
OmniGroundは、81のカテゴリにまたがる3,475の動画と複雑な現実世界のクエリを備えた総合的なベンチマークである。
また、4つの相補的な次元にわたるデータセット品質を定量化するシステム評価フレームワークであるDeepSTGについても紹介する。
実験では、PG-TAFはm_tIoUとm_vIoUを25.6%、35.6%改善し、4つのベンチマークで一貫した利得を得た。
論文 参考訳（メタデータ） (2025-11-21T04:23:04Z) - Cambrian-S: Towards Spatial Supersensing in Video [78.46305169769884]
我々は,意味認識,ストリーミングイベント認知,暗黙的な3次元空間認識,予測的世界モデリングという,言語のみの理解を超えた4つの段階を空間的スーパーセンシングとして捉えた。
VSR (long-horizon visual space recall) とVSC (continual visual space counting) の2部ベンチマークである。
次に、590Kを計算し、Cambrian-Sを訓練することで、任意の汎用能力に対して30%以上の絶対的な改善を達成し、データスケーリングの限界をテストする。
我々は,自己教師型概念実証を提示し,前方進路としての予測知覚を提案する。
論文 参考訳（メタデータ） (2025-11-06T18:55:17Z) - Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales [61.03549470159347]
視覚言語モデル (VLM) は急速に進歩しているが, オープンワールド環境における画像位置決め能力は, 網羅的に評価されていない。
我々は、視覚認識、ステップバイステップ推論、エビデンス利用を評価するVLM画像位置情報の総合ベンチマークであるEarthWhereを提示する。
論文 参考訳（メタデータ） (2025-10-13T01:12:21Z) - GTR-Bench: Evaluating Geo-Temporal Reasoning in Vision-Language Models [12.634203010453282]
GTR-Bench(Geo-Temporal Reasoning benchmark)は、大規模カメラネットワークにおける移動対象の地理的時間的推論のための新しい課題である。
GTR-Bench上で10以上の人気のあるVisual-Language Model (VLM)の評価は、最高のプロプライエタリモデルであるGemini-2.5-Proでさえ、時空間推論において人間のパフォーマンス(78.61%)よりもかなり遅れていることを示している。
GTR-Benchは貴重な洞察を提供し、空間的時間的知性の研究と応用の新たな機会を開く。
論文 参考訳（メタデータ） (2025-10-09T05:09:27Z) - Jigsaw-Puzzles: From Seeing to Understanding to Reasoning in Vision-Language Models [12.945689517235264]
Jigsaw-Puzzlesは空間的複雑さの高い1,100個の慎重にキュレートされた実世界の画像からなる新しいベンチマークである。
このデータセットに基づいて、視覚言語モデルの空間知覚、構造的理解、推論能力を厳格に評価する5つのタスクを設計する。
その結果、最強モデルであるGemini-2.5-Proでさえ、全体的な精度は77.14%に過ぎず、特にオーダージェネレーションタスクでは性能が劣っていることがわかった。
論文 参考訳（メタデータ） (2025-05-27T05:17:41Z) - SpaceVLLM: Endowing Multimodal Large Language Model with Spatio-Temporal Video Grounding Capability [58.46310813774538]
大規模言語モデル (LMLM) は時間的あるいは空間的局所化において顕著な進歩を遂げた。
しかし、彼らは時間的なビデオグラウンドの実行に苦慮している。
この制限は2つの大きな課題に起因している。
時間的ビデオグラウンドティングを具備したMLLMVLであるSpaceLMを紹介する。
論文 参考訳（メタデータ） (2025-03-18T07:40:36Z) - Watching You: Global-guided Reciprocal Learning for Video-based Person
Re-identification [82.6971648465279]
映像に基づくRe-IDのための新しいグローバルガイド相互学習フレームワークを提案する。
我々のアプローチは他の最先端のアプローチよりも優れたパフォーマンスを達成できます。
論文 参考訳（メタデータ） (2021-03-07T12:27:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。