論文の概要: Probing Spatial State Representations in Visual Foundation Models

• arxiv url: http://arxiv.org/abs/2610.40636v1
• Date: Thu, 29 Oct 2026 17:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.134967
• Title: Probing Spatial State Representations in Visual Foundation Models
• Title（参考訳）: 視覚基礎モデルにおける空間状態表現の提案
• Abstract要約: 本研究では, ストリーミングエゴセントリックな観測下での10つの表現に対して, 凍結機能プローブを用いた空間能力の4つのレベルについて検討した。 視覚的なシーンの強い読み出しは、正確なオブジェクトの持続性や将来的な検索を保証しない。 目標に依存した候補選択は、信頼できる継続的アクションユーティリティを確立しない。
• 参考スコア（独自算出の注目度）: 42.563630813940385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An observer sees only part of the surrounding world, yet must keep track of what lies beyond the current view. Spatial perception therefore involves more than recognizing individual images: it calls for a persistent spatial state that is updated under self-motion and used to guide action. Do visual foundation models provide representations that support such a state? We study this question through four levels of spatial capability---spatial structure, object persistence, predictive spatial update, and actionability---using frozen-feature probes on ten representations under streaming egocentric observations of static indoor environments. The resulting capability profiles vary across tasks, network layers, and prefix lengths: strong readout of the visible scene does not ensure accurate object persistence or future-feature retrieval. Matched controls separate readout accuracy from reliance on visual history and motion. Native future prediction retains recoverable spatial structure, but a spatial reader trained on real features does not transfer to predicted features unchanged. Finally, goal-dependent candidate selection does not establish reliable continuous action utility: predicted actions respond to goal changes, yet supplying the correct goal does not reliably improve progress. Across the four levels, object persistence and actionability build on camera-pose readout, whereas feature prediction builds on visible-scene readout. Together, these findings motivate evaluating spatial representations not only by what can be decoded from them, but by whether that information is maintained beyond observation, updated predictively, and used for goal-directed action.
• Abstract（参考訳）: オブザーバーは周囲の世界の一部しか見ていないが、現在の視界の向こうにあるものを追跡する必要がある。 したがって、空間的知覚は個々の画像を認識する以上のものを含んでいる:それは、自動の下で更新され、アクションを導くために使用される永続的な空間状態を要求する。 ビジュアル基礎モデルはそのような状態をサポートする表現を提供するか? 本研究では, 静的屋内環境のストリーミングエゴセントリックな観測下で, 空間構造, オブジェクトの永続性, 予測的空間更新, 動作可能性の4つのレベルを通して, 10個の表現上のフリーズフェールプローブを用いて検討する。 結果の能力プロファイルはタスク、ネットワーク層、プレフィックスの長さによって異なり、視覚的なシーンの強い読み出しは、正確なオブジェクトの永続化や将来的な検索を保証しません。 マッチング制御は、視覚履歴と動きに依存して読み出し精度を区別する。 自然の将来の予測は、回復可能な空間構造を保持するが、実際の特徴について訓練された空間リーダーは、予測された特徴に変化しない。 最後に、ゴールに依存した候補選択は、信頼できる継続的アクションユーティリティを確立しない:予測されたアクションは、ゴールの変更に応答するが、正しいゴールを提供することは、進捗を確実に改善しない。 4つのレベルにまたがって、オブジェクトの永続性とアクション性がカメラ目的の読み出しの上に構築されるのに対して、フィーチャー予測は可視シーンの読み出しの上に構築される。 これらの知見は共に、空間的表現の評価を、それらからデコードできるものだけでなく、その情報が観察を超えて維持され、予測的に更新され、ゴール指向アクションに使用されるかどうかによって動機づける。

関連論文リスト

• Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling [42.7271539385427]
  本稿では,組込み空間における次フレーム予測に基づく自己教師型視覚前訓練フレームワークVANEを紹介する。 因果エンコーダは、次のフレーム全体の表現を推測する状態予測器に対する過去の観測を要約する。 VANEはモデルとデータのスケーリングを改善し、ほとんどの予測、認識、高密度知覚ベンチマークでSOTAを達成する。
  論文  参考訳（メタデータ） (2026-10-22T04:46:49Z)
• Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds [64.48226068885388]
  本研究では、エージェントが間欠的な観測からターゲット位置を推定する進化世界ナビゲーションについて検討する。 タイムスタンプ付き3Dオブジェクト履歴からタイムインデクシングされた信念を構築するEvolvingNavを提案する。
  論文  参考訳（メタデータ） (2026-09-30T07:26:36Z)
• PreSIST: Vision-Language-Informed Object Persistence Prediction in Open-World Scenes [8.404764513882041]
  観測対象が任意の将来に最後に現れるポーズに残るかどうかを予測する方法であるPreSISTを提案する。 その重要な洞察は、視覚言語モデル(VLM)の推論能力は、シーンコンテキストと、おそらくオブジェクトの使用や人間の活動とを関連付けることができるということである。 我々は、VLMを用いて永続性を推定するPreSIST-Langと、PreSIST-Lang擬似ラベルを用いてトレーニングされた新しい視覚のみのモデルであるPreSIST-Visの2種類を開発した。
  論文  参考訳（メタデータ） (2026-07-04T23:51:28Z)
• Motion-Uncertainty-Aware Next-Best-View Planning for Moving Object Reconstruction [13.309411974709574]
  本研究では、平面運動中の未知の剛体物体を再構成するための運動不確実性を考慮したNBVフレームワークを提案する。 この予測的信念を得るために、固定ラグガウス過程はよりスムーズな推定を行い、ノイズのある位置測定から対象状態を予測する。 得られた信念は、予測対象位置に関する候補視点を生成し、到達可能性によってそれらをフィルタリングし、予測されるカバレッジ駆動スコアを推定するために使用される。
  論文  参考訳（メタデータ） (2026-05-17T18:45:38Z)
• Panoptic Segmentation Forecasting [71.75275164959953]
  我々の目標は、最近の観測結果から近い将来の予測を行うことです。 この予測能力、すなわち予測能力は、自律的なエージェントの成功に不可欠なものだと考えています。 そこで我々は,2成分モデルを構築した。一方のコンポーネントは,オードメトリーを予測して背景物の力学を学習し,他方のコンポーネントは検出された物の力学を予測する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:16Z)
• Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
  本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。 私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。 最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
  論文  参考訳（メタデータ） (2021-03-09T19:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。