論文の概要: EgoSAT: A Comprehensive Benchmark of Egocentric Streaming Interaction Understanding
- arxiv url: http://arxiv.org/abs/2606.24422v1
- Date: Tue, 23 Jun 2026 10:59:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.907131
- Title: EgoSAT: A Comprehensive Benchmark of Egocentric Streaming Interaction Understanding
- Title（参考訳）: EgoSAT: Egocentric Streaming Interaction Understandingの総合ベンチマーク
- Authors: Yijia Lei, Jinzhao Li, Yichi Zhang, Jiacheng Hua, Yin Li, Miao Liu,
- Abstract要約: EgoSATは、ストリーミング設定におけるエゴセントリックなビデオ推論のための、最初の包括的なベンチマークである。
現代の視覚言語モデル(VLM)の能力を評価するために設計された。
EgoSATには165時間のエゴセントリックな映像が1,997本、高品質な質問応答対が約4,800本ある。
- 参考スコア（独自算出の注目度）: 12.811023931580523
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce EgoSAT, the first comprehensive benchmark for egocentric video reasoning in streaming settings, designed to evaluate the capabilities of modern vision-language models (VLMs). The benchmark targets streaming interaction understanding, where video frames arrive sequentially and models must continuously interpret evolving visual context. EgoSAT unifies several previously distinct tasks within a single streaming framework. In this formulation, queries about completed events correspond to retrospective reasoning, queries about ongoing activities require online understanding, and queries about future actions involve prospective anticipation. This unified setting requires models to reason about the past, present, and future while operating under the constraint that only previously observed frames are available. EgoSAT contains 1,997 unique videos spanning 165 hours of egocentric footage and around 4,800 high-quality question-answer pairs, carefully designed to probe reasoning across varying temporal contexts. Using this benchmark, we evaluate a diverse set of both open-weight and closed-weight VLMs, providing a systematic assessment of their ability for streaming interaction understanding. By distinguishing answerability and conducting diagnostics on confidence of models, we find existing models not only struggle with prospective and retrospective modeling, but also exhibit severe mis-calibration: confidence often fails to track inherent answerability, leading to dangerous "confidently wrong" behaviors. Project page: https://leiyj23.github.io/EgoSAT/
- Abstract（参考訳）: 本稿では,最新の視覚言語モデル(VLM)の性能を評価するために設計された,ストリーミング設定におけるエゴセントリックなビデオ推論のための,最初の包括的なベンチマークであるEgoSATを紹介する。
このベンチマークは、ビデオフレームが順次到着し、モデルが進化する視覚的コンテキストを継続的に解釈する必要がある、ストリーミングインタラクション理解をターゲットにしている。
EgoSATは、単一のストリーミングフレームワーク内で、以前と異なるいくつかのタスクを統一する。
この定式化では、完了したイベントに関するクエリはふりかえりの推論に対応し、進行中のアクティビティに関するクエリはオンライン理解を必要とし、将来のアクションに関するクエリは予測的な予測を伴う。
この統合された設定は、以前に観測されたフレームしか利用できない制約の下で動作している間に、過去、現在、未来について推論するモデルを必要とする。
EgoSATには165時間のエゴセントリックな映像に1,997本のユニークなビデオと4,800の高品質な質問応答ペアが含まれており、さまざまな時間的文脈における推論を慎重に調査するように設計されている。
このベンチマークを用いて、オープンウェイトとクローズドウェイトの両方のVLMを多種多様なセットで評価し、ストリーミングインタラクション理解能力の体系的評価を行う。
応答可能性の識別とモデルの信頼性の診断を行うことで、既存のモデルが予測モデリングやふりかえりのモデリングに苦しむだけでなく、深刻な誤校正を示すことを見つけます。
プロジェクトページ: https://leiyj23.github.io/EgoSAT/
関連論文リスト
- VISTA: Technical Report for the Ego4D Short-Term Object Interaction Anticipation at EgoVis 2026 [70.67609435035631]
エゴセントリックなビデオタイムスタンプが与えられたら、次の人間と物体の相互作用を予測する必要がある。
ViSTAは、オブジェクト中心空間検出と短時間時間コンテキストを組み合わせたStillFastスタイルの設計に従う。
実験の結果、VISTAはEgoVis 2026 Ego4D STA Challengeで1位を獲得した。
論文 参考訳（メタデータ） (2026-05-20T08:42:56Z) - EgoCoT-Bench: Benchmarking Grounded and Verifiable Operation-Centric Chain of Thought Reasoning for MLLMs [23.973683864983272]
EgoT-Benchは、接地的で検証可能な操作中心の推論のための微細なエゴセントリックなベンチマークである。
EgoT-Benchは、3,172対のQAペアを351対の自我中心の振り返りビデオで構成している。
論文 参考訳（メタデータ） (2026-05-19T09:02:20Z) - How Far Are Video Models from True Multimodal Reasoning? [32.10821745418955]
CLVG-Benchは、ビデオモデルのゼロショット推論能力を調査するために設計された評価フレームワークである。
高品質で手動で注釈付けされたメタデータが6つのカテゴリと47のサブカテゴリにまたがっている。
最小限のアノテーションを用いて人間の専門家の認識と一致した適応的ビデオ評価器(AVE)を提案する。
論文 参考訳（メタデータ） (2026-04-21T08:04:02Z) - From Segments to Scenes: Temporal Understanding in Autonomous Driving via Vision-Language Model [13.666165551248701]
自律運転(AD)の時間的理解は依然として重要な課題である。
以前の作業では、時間的推論を改善するためのデータセットとベンチマークが導入されていた。
既存のベンチマークでは、エゴ中心のAD映像における時間的理解の独特な課題にのみ焦点が当てられていない。
論文 参考訳（メタデータ） (2025-12-04T21:57:10Z) - StreamEQA: Towards Streaming Video Understanding for Embodied Scenarios [33.70462645363648]
StreamEQAは、エンボディされたシナリオにおけるビデオ質問応答の最初のベンチマークである。
156個の独立した長編ビデオの上に構築され、正確なタイムスタンプで約21Kの質問応答ペアを生成する。
StreamEQAは、エンボディされたアプリケーションのためのストリーミングビデオ理解の研究を触媒することを期待しています。
論文 参考訳（メタデータ） (2025-12-04T04:48:16Z) - Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。
本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。
結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文 参考訳（メタデータ） (2025-11-28T18:59:58Z) - ImplicitQA: Going beyond frames towards Implicit Video Reasoning [39.63171940350552]
ImplicitQAは、人間のような暗黙の推論でビデオQAモデルをテストするために設計された新しいベンチマークである。
ImplicitQAは、1Kの高品質なクリエイティビティビデオクリップから引き出された1Kの微妙な注釈付きQAペアからなる。
論文 参考訳（メタデータ） (2025-06-26T19:53:54Z) - Omnia de EgoTempo: Benchmarking Temporal Understanding of Multi-Modal LLMs in Egocentric Videos [51.8995932557911]
EgoTempoは、エゴセントリックドメインにおける時間的理解を評価するために設計されたデータセットである。
本稿では,ベンチマークにおける最先端のマルチモーダル言語モデル (MLLM) が,テキストやフレームのみを入力として,驚くほど高い性能を実現していることを示す。
EgoTempoがこの分野の新たな研究を触媒し、時間的ダイナミクスの複雑さをよりよく捉えたモデルに刺激を与えることを期待している。
論文 参考訳（メタデータ） (2025-03-17T18:50:36Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。
SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
論文 参考訳（メタデータ） (2021-11-23T03:29:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。