論文の概要: VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding
- arxiv url: http://arxiv.org/abs/2605.22907v1
- Date: Thu, 21 May 2026 18:00:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.040024
- Title: VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding
- Title（参考訳）: VideoOdyssey:ウルトラロングコンテクストとオムニモードビデオ理解のためのベンチマーク
- Abstract要約: VideoOdysseyは、ウルトラロングコンテキストとオムニモードのビデオ理解のためのベンチマークである。
11のドメインと54のサブカテゴリにまたがっており、平均ビデオ時間は109分である。
さまざまなコンテキストの長さと認知的負荷のモデルを評価するための総合的な診断ツールを提供する。
- 参考スコア（独自算出の注目度）: 27.284730260765883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world long video understanding requires models to perform continuous tracking, information integration and memory retention over massive temporal spans within extreme video durations. Mastering this intense cognitive load constitutes the fundamental bottleneck in long video understanding. While existing benchmarks have driven progress by scaling up video duration, their evaluation tasks often require comprehending only short and isolated video segments, falling short of capturing the challenge of ultra-long-context reasoning. To measure this cognitive load, we emphasize continuous certificate length, defined as the video length a human must continuously watch to definitively answer a given question. Driven by this metric, we introduce VideoOdyssey, a benchmark specifically designed for ultra-long-context and omni-modal video understanding. VideoOdyssey is characterized by three key features: 1) Extreme video duration and diversity: spanning 11 domains and 54 subcategories with an average video duration of 109 minutes; 2) Comprehensive evaluation scenarios: offering two subsets to address different research focuses, i.e., VideoOdyssey-V for probing the limits of visual understanding in MLLMs, and VideoOdyssey-AV for evaluating synchronized audio-visual understanding for omni-modal models; 3) Ultra-long and multi-level continuous certificates: extending the average continuous certificate to 16 minutes for VideoOdyssey-V and 12.8 minutes for VideoOdyssey-AV. Crucially, we design 5 granular levels from seconds to hours, providing a comprehensive diagnostic tool to evaluate models across varying context lengths and cognitive loads. Extensive evaluations show that bottlenecks of current MLLMs extend beyond simple retrieval to include struggles with continuous reasoning across varying context lengths, fine-grained perception, and non-verbal omni-modal understanding.
- Abstract（参考訳）: 現実世界の長いビデオ理解には、極端のビデオ時間内に巨大な時間間隔で連続的な追跡、情報統合、メモリ保持を行うモデルが必要である。
この激しい認知的負荷をマスターすることは、長いビデオ理解における根本的なボトルネックとなる。
既存のベンチマークは、ビデオの長さを拡大することで進歩を加速しているが、それらの評価タスクは、短いビデオセグメントと孤立したビデオセグメントのみを解釈する必要があることが多く、超長文推論の課題を捉えるには不足している。
この認知的負荷を測定するために、我々は、人間が与えられた質問に決定的に答えるために継続的に見なければならないビデオの長さとして定義される、連続的な証明書長を強調した。
この測定値に基づいて,超長期コンテキストと全モードビデオ理解に特化したベンチマークであるVideoOdysseyを紹介する。
VideoOdysseyの特徴は3つある。
1) ビデオの長さと多様性:11のドメインと54のサブカテゴリにまたがる平均ビデオの長さは109分である。
2) 総合的な評価シナリオ:異なる研究に焦点を当てる2つのサブセット、すなわち、MLLMにおける視覚的理解の限界を探索するVideoOdyssey-Vと、Omni-Modalモデルの同期音声視覚的理解を評価するVideoOdyssey-AVである。
3)Ultra-long and multi-level continuous certificate: extended the average continuous certificate to 16 minutes for VideoOdyssey-V and 12.8 minutes for VideoOdyssey-AV。
重要なことは、我々は数秒から数時間で5つの粒度のレベルを設計し、様々なコンテキストの長さと認知的負荷のモデルを評価する包括的な診断ツールを提供する。
大規模な評価では、現在のMLLMのボトルネックは単純な検索を超えて、文脈の長さの異なる連続的推論との闘争、きめ細かい知覚、非言語的オムニモーダル理解を含むことが示されている。
関連論文リスト
- LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models [55.09980634684327]
LongVQUBenchは、長期的なビデオ品質理解のための総合的なベンチマークである。
映画、ドキュメンタリー、監視映像、エゴセントリックな録音、アニメーションコンテンツなど、1200以上の多様なビデオが収録されている。
テストでは、ビデオの長さと推論の深さが増大し、性能が著しく低下する。
論文 参考訳（メタデータ） (2026-07-01T15:40:42Z) - LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。
我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。
オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
論文 参考訳（メタデータ） (2026-03-19T17:58:13Z) - LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling [87.98096428508181]
LongVTは、Multimodal Chain-of-Tool-Thoughtを通じて"Thinking with Long Videos"を可能にするエンドツーエンドのエージェントフレームワークである。
我々は、LMM固有の時間的接地機能を利用して、特定のビデオクリップをズームインし、よりきめ細かいビデオフレームを再サンプリングするネイティブビデオトリミングツールを開発した。
トレーニングデータセットは, ツール統合型冷間始動微調整用247.9K試料, エージェント強化学習用1.6K試料, エージェント強化微調整用15.4K試料からなる。
論文 参考訳（メタデータ） (2025-11-25T19:22:48Z) - H2VU-Benchmark: A Comprehensive Benchmark for Hierarchical Holistic Video Understanding [25.111988967973147]
既存のビデオ理解評価ベンチマークでは、カバレッジ、タスクの多様性、シーン適応性に大きな制限がある。
本稿では,一般的なビデオとオンラインストリーミングの両方の理解度を評価するために,階層的・全体論的ビデオ理解ベンチマークを提案する。
このベンチマークは、拡張ビデオの長さ、包括的なアセスメントタスク、エンリッチ化ビデオデータという3つの重要な特徴に寄与する。
論文 参考訳（メタデータ） (2025-03-31T12:32:51Z) - MomentSeeker: A Task-Oriented Benchmark For Long-Video Moment Retrieval [61.414236415351446]
長ビデオモーメント検索(LMVR)のための新しいベンチマークであるMomentSeekerを提案する。
MomentSeekerは、長く多様なビデオに基づいて作られ、平均1200秒以上持続する。
グローバルレベル、イベントレベル、オブジェクトレベル、アクション認識、オブジェクトローカライゼーション、因果推論といった一般的なタスクをカバーする。
論文 参考訳（メタデータ） (2025-02-18T05:50:23Z) - HLV-1K: A Large-scale Hour-Long Video Benchmark for Time-Specific Long Video Understanding [20.184894298462652]
我々は、長時間ビデオ理解モデルを評価するために、大規模な時間長ビデオベンチマークHLV-1Kを構築した。
HLV-1Kは、高品質質問応答(QA)とマルチチョイス質問応答(MCQA)を備えた1009時間ビデオからなる。
我々は,既存の最先端手法を用いてベンチマークを評価し,様々なレベルでの深層ビデオ理解能力をテストすることの価値を実証した。
論文 参考訳（メタデータ） (2025-01-03T05:32:37Z) - SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis [52.050036778325094]
本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。
87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。
本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
論文 参考訳（メタデータ） (2024-11-25T08:04:47Z) - LvBench: A Benchmark for Long-form Video Understanding with Versatile Multi-modal Question Answering [49.68215536040896]
LvBenchは多目的なマルチモーダル質問応答のための長文ビデオ理解ベンチマークである。
ビデオは70秒から4時間で、シングルシーン、マルチシーン、フルシーンのコンテキストをカバーしています。
本データセットは、慎重に選択された100本の映画から得られた20,061組の質問応答対からなる。
論文 参考訳（メタデータ） (2023-12-08T03:33:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。