論文の概要: Does Local Video Understanding Transfer Across Encounters? The EgoGears Benchmark
- arxiv url: http://arxiv.org/abs/2609.37938v1
- Date: Tue, 29 Sep 2026 16:20:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.737702
- Title: Does Local Video Understanding Transfer Across Encounters? The EgoGears Benchmark
- Title（参考訳）: EgoGearsのベンチマークでは、ローカルビデオの理解は複数のアカウントにまたがっているか?
- Abstract要約: クロスビデオ精度は、局所的な知覚の失敗と観察のアイデンティティを保持する失敗を混同する。
EgoGearsは、この移行を診断するために設計された、補完的なシングルビデオとマルチビデオのベンチマークである。
- 参考スコア（独自算出の注目度）: 73.41679841824603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied systems must make knowledge acquired during one encounter usable in another despite changes in viewpoint, motion, and illumination. Yet aggregate cross-video accuracy conflates failures of local perception with failures to preserve observation identity, establish correspondence, and compose evidence, obscuring whether local video understanding actually transfers. We introduce EgoGears, a complementary single- and multi-video benchmark designed to diagnose this transition. It contains 567 single-video and 1,487 multi-video questions derived from 126 human-collected egocentric recordings covering 39 outdoor routes. Repeated traversals across movement speeds and lighting conditions ground comparisons in shared physical environments; 531 questions require alignment across independent recordings. Single-video questions measure the local visual, spatial, and motion evidence available to a model, while multi-video questions test whether evidence remains bound to the correct observation and can be composed into consistent route relationships. We report 29 single-video and 31 multi-video MLLM configurations across six model families in the main leaderboard. Among the 20 configurations evaluated comparably on both splits, every model performs worse on multi-video questions, with a mean decrease of 22.5 percentage points, and the gap persists when answer format and scoring are held fixed. The gap is not explained simply by additional videos or recording boundaries. The central bottlenecks are observation--evidence binding and ordered route-state tracking. The code and benchmark are publicly available at https://github.com/lei-qi-233/EgoGears.
- Abstract（参考訳）: 身体的なシステムは、視点、動き、照明の変化にもかかわらず、ある遭遇中に獲得した知識を別の場所で使用できなければならない。
しかし、総合的なクロスビデオ精度は、ローカルな認識の失敗と、観察のアイデンティティを保持し、対応を確立し、証拠を作成し、ローカルなビデオ理解が実際に転送されるかどうかを判断する失敗とを混同する。
EgoGearsは、この移行を診断するために設計された、補完的なシングルおよびマルチビデオベンチマークである。
567のシングルビデオと1,487のマルチビデオの質問が含まれており、39の屋外ルートをカバーする126の人間中心の録音から導かれる。
移動速度と照明条件を横断する反復的なトラバーサルは、共有された物理的環境における地上比較を行う; 531の質問は、独立した録音を横断するアライメントを必要とする。
シングルビデオ質問は、モデルで利用可能な局所的な視覚的、空間的、運動的証拠を計測し、マルチビデオ質問は、証拠が正しい観察に結びついているかどうかを検証し、一貫した経路関係を構成することができる。
メインリーダーボード内の6つのモデルファミリーに29のシングルビデオと31のマルチビデオMLLM構成を報告した。
両分割で比較可能と評価された20の構成のうち、各モデルは、平均22.5ポイント減少し、解答形式とスコアが固定された場合、差は持続する。
このギャップは、単に追加のビデオや記録境界によって説明されない。
中心となるボトルネックは、観測-証拠結合と順序付きルート状態追跡である。
コードとベンチマークはhttps://github.com/lei-qi-233/EgoGears.comで公開されている。
関連論文リスト
- Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks [2.0789144738685956]
本稿では,視覚依存ギャップ(VDG)について紹介する。
精度と視覚的依存は分離可能であることを示す。
これらの結果は、ビデオベンチマークが視覚的基盤能力を測定するかどうかの基準監査としてVDGを動機付けている。
論文 参考訳（メタデータ） (2026-07-14T22:15:50Z) - Evidence-Backed Video Question Answering [90.93225758130426]
既存の説明可能性の取り組みは、テキストの合理性やまばらなバウンディングボックスに依存している。
E-VQA(Evidence-Backed Video Question Answering)を提案する。
これをサポートするために,識別的および生成的画素レベルのグラウンド化のための最初の人為的検証ベンチマークST-Evidenceを導入する。
論文 参考訳（メタデータ） (2026-07-13T17:49:10Z) - DELTAVID: Enhancing Fine-Grained Spatiotemporal Perception with Cross-Video Differences [19.64446585108392]
ビデオ間の差異は、きめ細かな認識に有効な方法であるだけでなく、粗いセマンティック理解からきめ細かな推論に移行するスケーラブルなプロキシでもある。
ビデオ間の差異は, 微粒化知覚に有効な方法であるだけでなく, 粗い意味理解から細粒化推論へ移行するスケーラブルなプロキシであることを示す。
論文 参考訳（メタデータ） (2026-06-26T16:05:57Z) - OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs [49.82435858489898]
OVOS-Benchは、人間中心の空間知能をストリーミングするための完全な注釈付きベンチマークである。
348のソースビデオに関する1,680の質問で構成されている。
それぞれの質問はクエリとエビデンスインターバルを持ち、評価において、モデルはクエリの前のプレフィックスのみを表示する。
論文 参考訳（メタデータ） (2026-06-02T16:51:32Z) - What-If World: A Causal Benchmark for General World Models in Embodied Scenarios [23.527918480081013]
ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。
これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。
我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。
論文 参考訳（メタデータ） (2026-05-26T19:02:26Z) - TRACE: Evidence Grounding-Guided Multi-Video Event Understanding and Claim Generation [2.3450855956637913]
マルチビデオイベント推論のためのエビデンス基盤フレームワークであるTRACEを紹介する。
提案手法はまず,OCRとオブジェクト検出を用いて,ビデオ毎に構造化されたテキスト検索可能なタイムラインを構築する。
テキストのみのLLMはクエリ対応のエビデンスローカライゼーションを実行し、ダウンストリームの視覚的推論に先立って関連するモーメントを選択する。
論文 参考訳（メタデータ） (2026-05-16T01:37:10Z) - SAMA: Towards Multi-Turn Referential Grounded Video Chat with Large Language Models [93.73583158211115]
ビデオにおけるきめ細かい時間的理解の獲得は、現在のビデオ大マルチモデル(ビデオLMM)にとって大きな課題である。
私たちは、データセット、モデル、ベンチマークの3つの中核的な側面に貢献しています。
まず,ビデオ理解,グラウンドニング,マルチターンビデオチャットの共用学習を実現するため、15Kビデオからなる大規模データセットであるSAMA-239Kを紹介する。
第2に,広義の時間的コンテキストアグリゲータとセグメンションモデルを組み合わせたSAMAモデルを提案する。
論文 参考訳（メタデータ） (2025-05-24T18:13:16Z) - MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。
我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。
我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
論文 参考訳（メタデータ） (2025-05-01T17:41:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。