論文の概要: CG-Bench: Clue-grounded Question Answering Benchmark for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2412.12075v1
• Date: Mon, 16 Dec 2024 18:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:34.278820
• Title: CG-Bench: Clue-grounded Question Answering Benchmark for Long Video Understanding
• Title（参考訳）: CG-Bench:長時間ビデオ理解のためのクローズアップ質問回答ベンチマーク
• Authors: Guo Chen, Yicheng Liu, Yifei Huang, Yuping He, Baoqi Pei, Jilan Xu, Yali Wang, Tong Lu, Limin Wang,
• Abstract要約: CG-Benchは、長いビデオのヒント付き質問応答のための新しいベンチマークである。 14の一次カテゴリ、171の二次カテゴリ、638の第三カテゴリからなる粒度のシステムで、1,219の動画を手作業でキュレートする。 このベンチマークには、知覚、推論、幻覚という3つの主要な質問タイプに12,129のQAペアが含まれている。
• 参考スコア（独自算出の注目度）: 43.858197893052115
• License:
• Abstract: Most existing video understanding benchmarks for multimodal large language models (MLLMs) focus only on short videos. The limited number of benchmarks for long video understanding often rely solely on multiple-choice questions (MCQs). However, because of the inherent limitation of MCQ-based evaluation and the increasing reasoning ability of MLLMs, models can give the current answer purely by combining short video understanding with elimination, without genuinely understanding the video content. To address this gap, we introduce CG-Bench, a novel benchmark designed for clue-grounded question answering in long videos. CG-Bench emphasizes the model's ability to retrieve relevant clues for questions, enhancing evaluation credibility. It features 1,219 manually curated videos categorized by a granular system with 14 primary categories, 171 secondary categories, and 638 tertiary categories, making it the largest benchmark for long video analysis. The benchmark includes 12,129 QA pairs in three major question types: perception, reasoning, and hallucination. Compensating the drawbacks of pure MCQ-based evaluation, we design two novel clue-based evaluation methods: clue-grounded white box and black box evaluations, to assess whether the model generates answers based on the correct understanding of the video. We evaluate multiple closed-source and open-source MLLMs on CG-Bench. Results indicate that current models significantly underperform in understanding long videos compared to short ones, and a significant gap exists between open-source and commercial models. We hope CG-Bench can advance the development of more trustworthy and capable MLLMs for long video understanding. All annotations and video data are released at https://cg-bench.github.io/leaderboard/.
• Abstract（参考訳）: MLLM(Multimodal large language model)の既存のビデオ理解ベンチマークのほとんどは、短いビデオのみに焦点を当てている。 長いビデオ理解のためのベンチマークの限られた数は、しばしばマルチチョイス質問(MCQ)にのみ依存する。 しかし,MCQに基づく評価の本来の限界とMLLMの推論能力の増大により,映像内容の真に理解することなく,短い映像理解と排除を組み合わせることで,現在の回答を純粋に得ることができる。 このギャップに対処するために、CG-Benchは、長いビデオのヒント付き質問応答用に設計された新しいベンチマークである。 CG-Benchは、モデルが質問に関する適切な手がかりを検索し、評価の信頼性を高める能力を強調している。 14の一次カテゴリ、171の二次カテゴリ、638の第三カテゴリからなる粒度のシステムで分類された1,219の動画を手作業で編集し、長大なビデオ分析のための最大のベンチマークとなる。 このベンチマークには、知覚、推論、幻覚という3つの主要な質問タイプに12,129のQAペアが含まれている。 純粋なMCQに基づく評価の欠点を補正し,手掛かり付きホワイトボックスとブラックボックス評価という2つの新しい手掛かりベースの評価手法を設計し,そのモデルがビデオの正しい理解に基づいて回答を生成するかどうかを評価する。 CG-Bench上で複数のクローズドソースおよびオープンソースMLLMを評価した。 その結果、現在のモデルでは、短いビデオに比べて長いビデオの理解が著しく低下しており、オープンソースモデルと商用モデルの間には大きなギャップがあることが示唆された。 CG-Benchは、より信頼性が高く有能なMLLMの開発を長大なビデオ理解のために進めることを期待している。 すべてのアノテーションとビデオデータはhttps://cg-bench.github.io/ Leaderboard/で公開される。

関連論文リスト

• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• TVBench: Redesigning Video-Language Evaluation [48.71203934876828]
  現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。 提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T09:28:36Z)
• LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding [41.9477837230283]
  LongVideoBenchは質問に答えるベンチマークで、最大1時間までビデオ言語によるインターリーブされたインプットを特徴としている。 私たちのベンチマークには、さまざまなテーマにまたがるサブタイトルを持つ3,763種類のウェブコレクトビデオが含まれています。 我々は、推論を参照する新しいビデオ質問応答タスクを定式化する。
  論文  参考訳（メタデータ） (2024-07-22T16:00:55Z)
• Goldfish: Vision-Language Understanding of Arbitrarily Long Videos [51.547065479762715]
  任意の長さのビデオの解釈に適した手法を提案する。 また,TVQA-longベンチマークを導入し,視覚とテキストコンテンツの両方に疑問を呈する長編ビデオの理解におけるモデルの能力を評価する。 以上の結果から,本モデルでは長大・短大双方の理解が大幅に改善されていることが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T15:59:32Z)
• MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
  本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。 MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。 ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
  論文  参考訳（メタデータ） (2024-06-20T17:26:01Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• A Simple LLM Framework for Long-Range Video Question-Answering [63.50439701867275]
  長距離ビデオ質問応答(LVQA)のための言語ベースのフレームワークであるLLoViを提案する。 我々のアプローチでは、フレーム/クリップレベルの視覚キャプタと大言語モデル(GPT-3.5, GPT-4)を併用する。 提案手法は50.3%の精度を達成し,従来のベストパフォーマンスアプローチを18.1%(絶対ゲイン)で上回った。
  論文  参考訳（メタデータ） (2023-12-28T18:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。