論文の概要: VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding

• arxiv url: http://arxiv.org/abs/2605.22907v1
• Date: Thu, 21 May 2026 18:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.040024
• Title: VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding
• Title（参考訳）: VideoOdyssey:ウルトラロングコンテクストとオムニモードビデオ理解のためのベンチマーク
• Authors: Haichen He, Jiayi Zhou, Sifeng Shang, Yihan Hu, Yuanhan Zhang, Kaiyang Zhou,
• Abstract要約: VideoOdysseyは、ウルトラロングコンテキストとオムニモードのビデオ理解のためのベンチマークである。 11のドメインと54のサブカテゴリにまたがっており、平均ビデオ時間は109分である。 さまざまなコンテキストの長さと認知的負荷のモデルを評価するための総合的な診断ツールを提供する。
• 参考スコア（独自算出の注目度）: 27.284730260765883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world long video understanding requires models to perform continuous tracking, information integration and memory retention over massive temporal spans within extreme video durations. Mastering this intense cognitive load constitutes the fundamental bottleneck in long video understanding. While existing benchmarks have driven progress by scaling up video duration, their evaluation tasks often require comprehending only short and isolated video segments, falling short of capturing the challenge of ultra-long-context reasoning. To measure this cognitive load, we emphasize continuous certificate length, defined as the video length a human must continuously watch to definitively answer a given question. Driven by this metric, we introduce VideoOdyssey, a benchmark specifically designed for ultra-long-context and omni-modal video understanding. VideoOdyssey is characterized by three key features: 1) Extreme video duration and diversity: spanning 11 domains and 54 subcategories with an average video duration of 109 minutes; 2) Comprehensive evaluation scenarios: offering two subsets to address different research focuses, i.e., VideoOdyssey-V for probing the limits of visual understanding in MLLMs, and VideoOdyssey-AV for evaluating synchronized audio-visual understanding for omni-modal models; 3) Ultra-long and multi-level continuous certificates: extending the average continuous certificate to 16 minutes for VideoOdyssey-V and 12.8 minutes for VideoOdyssey-AV. Crucially, we design 5 granular levels from seconds to hours, providing a comprehensive diagnostic tool to evaluate models across varying context lengths and cognitive loads. Extensive evaluations show that bottlenecks of current MLLMs extend beyond simple retrieval to include struggles with continuous reasoning across varying context lengths, fine-grained perception, and non-verbal omni-modal understanding.
• Abstract（参考訳）: 現実世界の長いビデオ理解には、極端のビデオ時間内に巨大な時間間隔で連続的な追跡、情報統合、メモリ保持を行うモデルが必要である。 この激しい認知的負荷をマスターすることは、長いビデオ理解における根本的なボトルネックとなる。 既存のベンチマークは、ビデオの長さを拡大することで進歩を加速しているが、それらの評価タスクは、短いビデオセグメントと孤立したビデオセグメントのみを解釈する必要があることが多く、超長文推論の課題を捉えるには不足している。 この認知的負荷を測定するために、我々は、人間が与えられた質問に決定的に答えるために継続的に見なければならないビデオの長さとして定義される、連続的な証明書長を強調した。 この測定値に基づいて,超長期コンテキストと全モードビデオ理解に特化したベンチマークであるVideoOdysseyを紹介する。 VideoOdysseyの特徴は3つある。 1) ビデオの長さと多様性:11のドメインと54のサブカテゴリにまたがる平均ビデオの長さは109分である。 2) 総合的な評価シナリオ:異なる研究に焦点を当てる2つのサブセット、すなわち、MLLMにおける視覚的理解の限界を探索するVideoOdyssey-Vと、Omni-Modalモデルの同期音声視覚的理解を評価するVideoOdyssey-AVである。 3)Ultra-long and multi-level continuous certificate: extended the average continuous certificate to 16 minutes for VideoOdyssey-V and 12.8 minutes for VideoOdyssey-AV。 重要なことは、我々は数秒から数時間で5つの粒度のレベルを設計し、様々なコンテキストの長さと認知的負荷のモデルを評価する包括的な診断ツールを提供する。 大規模な評価では、現在のMLLMのボトルネックは単純な検索を超えて、文脈の長さの異なる連続的推論との闘争、きめ細かい知覚、非言語的オムニモーダル理解を含むことが示されている。

関連論文リスト

• LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
  このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。 我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。 オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
  論文  参考訳（メタデータ） (2026-03-19T17:58:13Z)
• MomentSeeker: A Task-Oriented Benchmark For Long-Video Moment Retrieval [61.414236415351446]
  長ビデオモーメント検索(LMVR)のための新しいベンチマークであるMomentSeekerを提案する。 MomentSeekerは、長く多様なビデオに基づいて作られ、平均1200秒以上持続する。 グローバルレベル、イベントレベル、オブジェクトレベル、アクション認識、オブジェクトローカライゼーション、因果推論といった一般的なタスクをカバーする。
  論文  参考訳（メタデータ） (2025-02-18T05:50:23Z)
• HLV-1K: A Large-scale Hour-Long Video Benchmark for Time-Specific Long Video Understanding [20.184894298462652]
  我々は、長時間ビデオ理解モデルを評価するために、大規模な時間長ビデオベンチマークHLV-1Kを構築した。 HLV-1Kは、高品質質問応答(QA)とマルチチョイス質問応答(MCQA)を備えた1009時間ビデオからなる。 我々は,既存の最先端手法を用いてベンチマークを評価し,様々なレベルでの深層ビデオ理解能力をテストすることの価値を実証した。
  論文  参考訳（メタデータ） (2025-01-03T05:32:37Z)
• LvBench: A Benchmark for Long-form Video Understanding with Versatile Multi-modal Question Answering [49.68215536040896]
  LvBenchは多目的なマルチモーダル質問応答のための長文ビデオ理解ベンチマークである。 ビデオは70秒から4時間で、シングルシーン、マルチシーン、フルシーンのコンテキストをカバーしています。 本データセットは、慎重に選択された100本の映画から得られた20,061組の質問応答対からなる。
  論文  参考訳（メタデータ） (2023-12-08T03:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。