論文の概要: Long Time No See: Benchmarking VLMs for Out-of-Sight Spatiotemporal Reasoning in Egocentric Videos

• arxiv url: http://arxiv.org/abs/2609.34630v1
• Date: Mon, 28 Sep 2026 08:48:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:47:44.272836
• Title: Long Time No See: Benchmarking VLMs for Out-of-Sight Spatiotemporal Reasoning in Egocentric Videos
• Title（参考訳）: 長時間見ない:エゴセントリックビデオにおける視界外時空間推論のためのVLMのベンチマーク
• Abstract要約: 現実世界のAIシステムは、もはや見えないオブジェクトを推論する必要がある。 我々は9つの汎用・空間特化VLMをベンチマークした。 最良のモデルは、29.7%の確率とテキストのみのベースラインに対して42.2%に達する。
• 参考スコア（独自算出の注目度）: 42.399026101211184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world AI systems must reason about objects that are no longer visible: an AR assistant guiding a user back to an object used earlier, a household robot retrieving an item someone put away. This requires not just recalling where an object was last seen, but updating its state when it is moved and retaining that update once it leaves view. We refer to this as out-of-sight spatiotemporal reasoning. We introduce Beyond3D, the first VQA benchmark to isolate this ability in dynamic egocentric video: every query targets an object that has been relocated and has since left the field of view. We create our questions from HD-EPIC annotations, building a visibility track for each dynamic object from its 3D position, the camera pose, and the scene geometry to understand at each moment whether it is visible, occluded, or out of view. Beyond3D comprises 9,000 questions in eight types over 135 videos from nine participants, organized as one reasoning chain: visual grounding (is the target observable now), temporal grounding (when it was last visible and last placed), scene localization (which fixture anchors that location), and 3D spatial perception (where it lies relative to the current viewpoint or another object in the scene). We benchmark nine general-purpose and spatially specialized VLMs. The best model reaches 42.2% against 29.7% chance and text-only baselines reaching 31.9%, with the largest failures in recovering when an object was last visible, showing that tracking object movement out of sight remains far from solved for current VLMs.
• Abstract（参考訳）: 現実世界のAIシステムは、もはや見えない物体を推論する必要がある。ARアシスタントは、ユーザーが以前に使用した物体にユーザーを誘導し、誰かが捨てたアイテムを回収する家庭用ロボットだ。 これは、オブジェクトが最後に見た場所をリコールするだけでなく、移動されたときに状態を更新し、ビューを離れた後にその更新を保持する必要がある。 これを外見時空間推論(out-of-sight spatiotemporal reasoning)と呼ぶ。 動的エゴセントリックなビデオでこの機能を分離する最初のVQAベンチマークであるBeyond3Dを紹介した。 我々はHD-EPICアノテーションから質問を作成し、その3D位置、カメラポーズ、シーンジオメトリから各動的オブジェクトの可視性トラックを構築し、それが目に見えるか、隠されているか、または見えないかを各瞬間に理解する。 Beyond3Dは、9人の参加者から、視覚的グラウンド(現在観測可能)、時間的グラウンド(最後に見えて最後に配置された場合)、シーンのローカライゼーション(その場所を固定する)、3D空間的知覚(現在の視点やシーン内の他の物体と相対する位置)という、ひとつの推論チェーンとして組織された8つのタイプのビデオに対して、9000の質問を含む。 我々は9つの汎用・空間特化VLMをベンチマークした。 最良のモデルは、29.7%の確率で42.2%に達し、テキストのみのベースラインは31.9%に達し、オブジェクトが最後に見えるときの回復に最も失敗した。

関連論文リスト

• VANTAGE-Bench: Evaluating the Infrastructure AI Gap in Vision-Language Models [6.534399108411788]
  物理AIのクラス: インフラストラクチャAIは、オープンループロギングの洞察のために固定カメラに依存している。 私たちは、この"インフラAIギャップ"を測定するベンチマークであるVANTAGE-Benchを紹介します。 我々は、ゼロショットを17モデル評価し、一般ではなく、消費者中心のベンチマークに対する欠点が集中していることを見出した。
  論文  参考訳（メタデータ） (2026-09-08T19:50:25Z)
• ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos [48.24897274501108]
  本研究では,3次元オブジェクト中心のダイナミックスモデルを導入し,短い自我中心の映像シーケンスから剛体物体の将来の6-DoFのポーズと軌跡を予測する。 ピクセルまたは潜在空間で動作する従来の世界やダイナミクスモデルとは異なり、ObjectForesightはオブジェクトレベルで3Dで明示的に世界を表現する。 我々は、ObjectForesightが、未確認のオブジェクトやシーンへの精度、幾何整合性、一般化において、大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-08T18:58:08Z)
• Out of Sight, Not Out of Context? Egocentric Spatial Reasoning in VLMs Across Disjoint Frames [17.975173937253494]
  エゴセントリックなビデオを操作するAIアシスタントは、時間をかけて空間的な手がかりを統合する必要がある。 Disjoint-3DQAは、VLMのこの能力を評価するためのQAベンチマークである。
  論文  参考訳（メタデータ） (2025-05-30T06:32:26Z)
• Interacted Object Grounding in Spatio-Temporal Human-Object Interactions [70.8859442754261]
  我々は、新しいオープンワールドベンチマーク: Grounding Interacted Objects (GIO)を導入する。 オブジェクトの接地作業は視覚システムが相互作用するオブジェクトを発見することを期待するものである。 多様なビデオから対話オブジェクトを検出するための4D質問応答フレームワーク(4D-QA)を提案する。
  論文  参考訳（メタデータ） (2024-12-27T09:08:46Z)
• Spatial Cognition from Egocentric Video: Out of Sight, Not Out of Mind [39.226933837233744]
  我々は、自我中心のカメラで捉えた観察により、アクティブな物体を3Dで追跡する。 我々は,この課題に対処するためのシンプルだが効果的なアプローチである Lift, Match, and Keep (LMK) を導入する。 LMKは、部分的な2D観察を3D世界座標に引き上げ、視覚的外観や3D位置、インタラクションを使って時間とともにマッチングしてオブジェクトのトラックを作り、カメラの外を見渡してもそれらのオブジェクトのトラックを維持できる。
  論文  参考訳（メタデータ） (2024-04-07T21:00:14Z)
• DORT: Modeling Dynamic Objects in Recurrent for Multi-Camera 3D Object Detection and Tracking [67.34803048690428]
  本稿では、この問題を解決するためにRecurrenT(DORT)の動的オブジェクトをモデル化することを提案する。 DORTは、重い計算負担を軽減する動き推定のために、オブジェクトワイズローカルボリュームを抽出する。 フレキシブルで実用的で、ほとんどのカメラベースの3Dオブジェクト検出器に差し込むことができる。
  論文  参考訳（メタデータ） (2023-03-29T12:33:55Z)
• EgoLoc: Revisiting 3D Object Localization from Egocentric Videos with Visual Queries [68.75400888770793]
  我々は、エゴセントリックなビデオから2次元オブジェクトを検索することで、3次元のマルチビュー幾何をよりうまく絡み合わせるパイプラインを定式化する。 具体的には、VQ3Dタスクにおける新しい最先端の成果を設定できる87.12%の総合的な成功率を達成する。
  論文  参考訳（メタデータ） (2022-12-14T01:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。