論文の概要: Towards Spatial Supersensing in the Wild

• arxiv url: http://arxiv.org/abs/2607.13681v1
• Date: Wed, 15 Jul 2026 10:24:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.742326
• Title: Towards Spatial Supersensing in the Wild
• Title（参考訳）: 野生における空間スーパーセンシングに向けて
• Abstract要約: 長時間の時間的地平線上での空間的スーパーセンシングを評価するためのベンチマークである$textbfVSI-Super-Wildを紹介する。 結果は、モデルは時間とともに一貫性のある世界状態追跡を必要とするタスクで一貫して失敗することを示している。 そして,空間的崩壊,セマンティックショートカット,複雑性の更新,インスタンスの混乱という4つの障害モードを診断する。
• 参考スコア（独自算出の注目度）: 35.413360698005285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans can efficiently parse continuous sensory streams, from hours to years, scaffolding an internal world model that grounds spatial reasoning and prediction. To mimic this capacity, spatial supersensing challenges multimodal models to move beyond linguistic understanding toward true world modeling. However, their benchmark relies on synthetic long videos, formed by concatenating random short clips, and is mostly limited to household scenes, leaving real-world continuity and diversity underexplored. To address the gap, we introduce $\textbf{VSI-Super-Wild}$, a large-scale benchmark for evaluating spatial supersensing over long temporal horizons in diverse in-the-wild scenes. Notably, inspired by cognitive studies on how humans structure experience, we systematically probe the full triad of world state: the agent (observer), objects (scene items), and the environment (places and global layout). In total, VSI-Super-Wild contains $\textbf{6,980}$ human-verified question-answer pairs derived from $\textbf{442}$ real-world videos spanning 8 scene categories, including long-form recordings exceeding 4 hours. Results on VSI-Super-Wild expose a fundamental disconnect: despite advances in static image understanding, models consistently fail at tasks that require coherent world-state tracking over time. We characterize how performance degrades with world-state complexity and temporal horizon, and diagnose four failure modes: spatial collapse, semantic shortcuts, insufficient update, and instance confusion. This taxonomy reveals that models lack mechanisms to bind objects, agents, and environments into a unified spatial world model, a fundamental gap that defines the path forward for spatial supersensing.
• Abstract（参考訳）: 人間は、空間的推論と予測の基礎となる内的世界モデルを足場として、何時間から何年にもわたって、継続的な感覚の流れを効率的に解析することができる。 この能力を模倣するために、空間的スーパーセンシングは多モーダルモデルに挑戦し、言語的理解を超えて真の世界モデリングへと移行する。 しかし、彼らのベンチマークは、ランダムな短いクリップを連結して作られた合成長ビデオに依存しており、ほとんどは家庭のシーンに限られており、現実世界の連続性と多様性は過小評価されている。 このギャップに対処するために,様々な場面で長時間の時間的地平線上での空間的スーパーセンシングを評価するための大規模ベンチマークである$\textbf{VSI-Super-Wild}$を紹介した。 特に、人間の構造体験に関する認知研究に触発された私たちは、エージェント(オブザーバー)、オブジェクト(シーンアイテム)、環境(場所とグローバルレイアウト)という、世界の三大国家を体系的に調査します。 合計でVSI-Super-Wildは、$\textbf{6,980}$、$\textbf{442}$、現実世界の8つのカテゴリーにまたがるビデオから派生した、人間による検証済みの質問応答対を含んでいる。 静的画像理解の進歩にもかかわらず、モデルは時間とともに一貫性のある世界状態追跡を必要とするタスクで一貫して失敗する。 そして,空間的崩壊,セマンティックショートカット,更新不足,インスタンスの混乱という4つの障害モードを診断する。 この分類学は、物体、エージェント、環境を統一された空間世界モデルに結合するメカニズムが欠けていることを明らかにしている。

関連論文リスト

• World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning [18.658825757342544]
  視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。 彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。 生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
  論文  参考訳（メタデータ） (2026-04-29T17:48:01Z)
• INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling [44.09983529522167]
  INSPATIO-WORLDは、単一のビデオから高忠実なインタラクティブなシーンを復元し、生成できる新しいリアルタイムフレームワークである。 Implicit Spatiotemporal Cacheは参照と過去の観測結果を潜在世界表現に集約する。 Explicit Space Constraint Moduleは幾何学的構造を強制し、ユーザのインタラクションを正確かつ物理的に可視なカメラ軌道に変換する。
  論文  参考訳（メタデータ） (2026-04-08T15:31:22Z)
• Thinking in Dynamics: How Multimodal Large Language Models Perceive, Track, and Reason Dynamics in Physical 4D World [49.80040477190479]
  人間は物理的4Dの世界に住み、幾何学的構造と意味的内容は時間とともに進化する。 さまざまな実世界および合成ビデオデータセットから構築された大規模ベンチマークであるDyn-Benchを紹介した。 既存のモデルでは,時間的推論と動的オブジェクトグラウンドの両面において,高い性能を同時に維持できないことがわかった。
  論文  参考訳（メタデータ） (2026-03-13T07:42:16Z)
• Beyond Pixel Histories: World Models with Persistent 3D State [50.4601060508243]
  PERSISTは、潜伏した3Dシーンの進化をシミュレートする世界モデルの新たなパラダイムである。 既存の手法に比べて空間記憶,3次元整合性,長期安定性が大幅に向上した。
  論文  参考訳（メタデータ） (2026-03-03T19:58:31Z)
• TeleWorld: Towards Dynamic Multimodal Synthesis with a 4D World Model [53.555353366322464]
  我々は,映像生成,動的シーン再構成,長期記憶をクローズドループシステム内で統合するリアルタイム多モード4DワールドモデリングフレームワークTeleWorldを提案する。 提案手法は,動的オブジェクトモデリングと静的シーン表現のシームレスな統合を実現し,現実的でインタラクティブで計算可能な合成システムに向けて世界モデルを推し進める。
  論文  参考訳（メタデータ） (2025-12-31T18:31:46Z)
• Cambrian-S: Towards Spatial Supersensing in Video [78.46305169769884]
  我々は,意味認識,ストリーミングイベント認知,暗黙的な3次元空間認識,予測的世界モデリングという,言語のみの理解を超えた4つの段階を空間的スーパーセンシングとして捉えた。 VSR (long-horizon visual space recall) とVSC (continual visual space counting) の2部ベンチマークである。 次に、590Kを計算し、Cambrian-Sを訓練することで、任意の汎用能力に対して30%以上の絶対的な改善を達成し、データスケーリングの限界をテストする。 我々は,自己教師型概念実証を提示し,前方進路としての予測知覚を提案する。
  論文  参考訳（メタデータ） (2025-11-06T18:55:17Z)
• OmniWorld: A Multi-Domain and Multi-Modal Dataset for 4D World Modeling [86.12242953301121]
  我々は,4次元世界モデリングに特化した大規模マルチドメインマルチモーダルデータセットであるOmniWorldを紹介した。 既存の合成データセットと比較して、OmniWorld-Gameはよりリッチなモダリティカバレッジ、より大きなスケール、より現実的な動的インタラクションを提供する。 我々は、複雑な4D環境のモデリングにおいて、現在の最先端(SOTA)アプローチの限界を明らかにするための挑戦的なベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-09-15T17:59:19Z)
• Hieros: Hierarchical Imagination on Structured State Space Sequence World Models [4.922995343278039]
  ヒエロス(Hieros)は、時間的抽象世界表現を学習し、潜在空間における複数の時間スケールでの軌跡を想像する階層的な政策である。 我々は,Atari 100kベンチマークにおいて,平均および中央値の正規化人間のスコアにおいて,この手法が技術状況より優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-08T13:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。