論文の概要: VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding

• arxiv url: http://arxiv.org/abs/2608.14718v1
• Date: Wed, 12 Aug 2026 03:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.047804
• Title: VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding
• Title（参考訳）: VideoGAIA: エージェントビデオ理解のための一般AIアシスタントのベンチマーク
• Abstract要約: VideoGAIAは、汎用人工知能アシスタントのためのエージェントビデオ理解ベンチマークである。 VideoGAIAには、多様で複雑な現実世界のシナリオをカバーする、モデルと人間の共同設計タスクが271個含まれている。 GPT-5.5やKim-K3のようなフロンティアモデルを含む全ての評価されたMLLMは、ビデオGAIAで60%未満の精度を実現している。
• 参考スコア（独自算出の注目度）: 73.10050069618302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video understanding is a fundamental task for evaluating the capabilities of multimodal large language models (MLLMs). However, existing leading models have already achieved approximately 90% accuracy on the Video-MME leaderboard, suggesting that conventional single-turn video understanding tasks are becoming increasingly saturated and insufficient for assessing the intelligence of advanced MLLMs. Towards this end, we introduce VideoGAIA, an agentic video understanding benchmark for general artificial intelligence (AI) assistants. Moving beyond one-shot video question answering, VideoGAIA formulates video understanding as a multi-turn, tool-augmented interaction process, where models must iteratively perceive videos, invoke external tools, gather complementary information, and integrate multimodal evidence across turns. VideoGAIA contains 271 model-human co-designed tasks covering diverse and complex real-world scenarios. Each video-question-answer instance is independently verified by three human experts to ensure both correctness and appropriate difficulty. All evaluated MLLMs, including frontier models such as GPT-5.5 and Kimi-K3, achieve less than 60% accuracy on VideoGAIA, highlighting its value as a high-quality and timely benchmark for evaluating next-generation MLLMs. We hope that VideoGAIA will facilitate the transition from conventional video understanding toward agentic video understanding.
• Abstract（参考訳）: ビデオ理解はマルチモーダル大言語モデル(MLLM)の機能を評価するための基本的なタスクである。 しかし、既存の先行モデルは、ビデオ-MMEリーダーボードでおよそ90%の精度を達成しており、従来のシングルターンビデオ理解タスクは、高度MLLMのインテリジェンスを評価するのに飽和度が増し、不十分になっていることを示唆している。 この目的のために,汎用人工知能(AI)アシスタントのためのエージェントビデオ理解ベンチマークであるVideoGAIAを紹介する。 VideoGAIAは、ビデオ理解をマルチターンでツール強化されたインタラクションプロセスとして定式化し、ビデオを繰り返し知覚し、外部ツールを呼び出し、補完的な情報を収集し、ターンをまたいだマルチモーダルなエビデンスを統合する。 VideoGAIAには、多様な複雑な現実世界のシナリオをカバーする、モデルと人間の共同設計タスクが271個含まれている。 それぞれのビデオ質問-回答のインスタンスは、3人の人間の専門家によって独立して検証され、正確性と適切な困難の両方が保証される。 GPT-5.5やKim-K3のようなフロンティアモデルを含む評価されたMLLMは、ビデオGAIAで60%未満の精度を実現し、次世代MLLMを評価するための高品質でタイムリーなベンチマークとしての価値を強調した。 我々は,ビデオGAIAが従来の映像理解からエージェント的映像理解への移行を促進することを願っている。

関連論文リスト

• FaVChat: Unlocking Fine-Grained Facial Video Understanding with Multimodal Large Language Models [12.029771909598647]
  FaVChatは、顔のきめ細かいビデオ理解のために特別に設計された最初のVMLLMである。 我々は60k以上の動画からなる大規模な顔画像データセットを構築し,大半が83の微粒な顔属性で注釈付けされている。 我々は,映像要約から高品質な映像QAサブセットへ移行し,タスクの複雑さを徐々に増大させ,モデルのきめ細かい視覚知覚を高める,プログレッシブトレーニングパラダイムを採用する。
  論文  参考訳（メタデータ） (2025-03-12T08:33:46Z)
• VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM [81.15525024145697]
  ビデオ大言語モデル (Video Large Language Models, ビデオLLM) は近年, 一般的なビデオ理解において顕著な能力を示した。 しかし、それらは主に全体論的理解に焦点を当て、きめ細かい空間的・時間的詳細を捉えるのに苦労している。 我々は,高精細度空間時間映像理解のためのビデオLLMを実現するために,VideoRefer Suiteを導入した。
  論文  参考訳（メタデータ） (2024-12-31T18:56:46Z)
• MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
  本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。 MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。 ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
  論文  参考訳（メタデータ） (2024-06-20T17:26:01Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs [98.37571997794072]
  CVRR-ES(Complex Video Reasoning and Robustness Evaluation Suite)について紹介する。 CVRR-ESは、11種類の実世界のビデオ次元にわたるビデオLMMの性能を包括的に評価する。 我々の発見は、次世代の人間中心AIシステムを構築する上で貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:45Z)
• MVBench: A Comprehensive Multi-modal Video Understanding Benchmark [63.14000659130736]
  本稿では、MVBenchという総合的なマルチモーダルビデオ理解ベンチマークを紹介する。 まず、これらの時間的タスクを定義するための新しい静的-動的手法を提案する。 そして,タスク定義に従って,公開ビデオアノテーションを複数選択QAに自動的に変換し,各タスクを評価する。
  論文  参考訳（メタデータ） (2023-11-28T17:59:04Z)
• Video-Bench: A Comprehensive Benchmark and Toolkit for Evaluating Video-based Large Language Models [81.84810348214113]
  ビデオベースの大規模言語モデル(Video-LLMs)が最近導入され、認識と理解の基本的な改善と多様なユーザからの問い合わせの両方をターゲットにしている。 このようなモデルの開発を導くため、堅牢で包括的な評価システムの構築が重要となる。 本稿では,ビデオLLMの評価に特化して設計されたツールキットとともに,新しい総合的なベンチマークであるtextitVideo-Benchを提案する。
  論文  参考訳（メタデータ） (2023-11-27T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。