論文の概要: InstructionBench: An Instructional Video Understanding Benchmark

• arxiv url: http://arxiv.org/abs/2504.05040v1
• Date: Mon, 07 Apr 2025 13:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:11:05.896568
• Title: InstructionBench: An Instructional Video Understanding Benchmark
• Title（参考訳）: InstructionBench: インストラクショナルビデオ理解ベンチマーク
• Authors: Haiwan Wei, Yitian Yuan, Xiaohan Lan, Wei Ke, Lin Ma,
• Abstract要約: InstructionBenchはインストラクショナルビデオ理解ベンチマークである。 我々は、粗いイベントレベルと細かなオブジェクトレベルの推論の両方を評価するために、オープンエンドおよび複数選択形式のQ&Aペアを定式化する。 このベンチマークには、700本以上のビデオに5Kの質問が含まれている。
• 参考スコア（独自算出の注目度）: 14.71613140347162
• License:
• Abstract: Despite progress in video large language models (Video-LLMs), research on instructional video understanding, crucial for enhancing access to instructional content, remains insufficient. To address this, we introduce InstructionBench, an Instructional video understanding Benchmark, which challenges models' advanced temporal reasoning within instructional videos characterized by their strict step-by-step flow. Employing GPT-4, we formulate Q\&A pairs in open-ended and multiple-choice formats to assess both Coarse-Grained event-level and Fine-Grained object-level reasoning. Our filtering strategies exclude questions answerable purely by common-sense knowledge, focusing on visual perception and analysis when evaluating Video-LLM models. The benchmark finally contains 5k questions across over 700 videos. We evaluate the latest Video-LLMs on our InstructionBench, finding that closed-source models outperform open-source ones. However, even the best model, GPT-4o, achieves only 53.42\% accuracy, indicating significant gaps in temporal reasoning. To advance the field, we also develop a comprehensive instructional video dataset with over 19k Q\&A pairs from nearly 2.5k videos, using an automated data generation framework, thereby enriching the community's research resources.
• Abstract（参考訳）: ビデオ大言語モデル (Video-LLMs) の進歩にもかかわらず, 教示コンテンツへのアクセス向上に不可欠である教示ビデオ理解の研究は, いまだに不十分である。 これを解決するために,インストラクションベンチ(InstructionBench)という,厳密なステップバイステップフローを特徴とする指導ビデオ内の高度な時間的推論に挑戦するインストラクションビデオ理解ベンチマークを導入する。 GPT-4を用いることで、大まかなイベントレベルと細粒オブジェクトレベルの推論の両方を評価するために、オープンエンドおよび複数選択形式のQ\&Aペアを定式化する。 我々のフィルタリング手法は、ビデオ-LLMモデルを評価する際に、視覚的知覚と分析に焦点をあてて、常識知識によって純粋に答えられる質問を除外する。 このベンチマークには、700本以上のビデオに5Kの質問が含まれている。 InstructionBenchで最新のVideo-LLMを評価し、クローズドソースモデルはオープンソースモデルよりも優れていることを発見した。 しかし、最も優れたモデルであるGPT-4oでさえ53.42\%の精度しか達成せず、時間的推論において大きなギャップがあることを示唆している。 現場を前進させるため、約2.5kのビデオから19k以上のQ&Aペアを持つ総合的な教育ビデオデータセットも開発し、自動データ生成フレームワークを使用して、コミュニティの研究資源を豊かにする。

関連論文リスト

• SCBench: A Sports Commentary Benchmark for Video LLMs [19.13963551534595]
  我々は,ビデオ大言語モデル(ビデオLLM)のためのスポーツビデオ解説生成のためのベンチマークを開発する。 $textbfSCBench$はタスク用に特別に設計された6次元計量であり、GPTに基づく評価手法を提案する。 結果,InternVL-Chat-2は5.44で最高の性能を示し,1.04で2位となった。
  論文  参考訳（メタデータ） (2024-12-23T15:13:56Z)
• VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
  空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。 GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。 フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-22T08:33:36Z)
• Q-Bench-Video: Benchmarking the Video Quality Understanding of LMMs [76.15356325947731]
  ビデオ品質の識別におけるLMMの習熟度を評価するための新しいベンチマークであるQ-Bench-Videoを紹介する。 2,378組の質問応答ペアを収集し、12のオープンソースと5のプロプライエタリなLMMでテストする。 以上の結果から,LMMは映像品質の基本的な理解を保ちつつも,その性能は不完全かつ不正確であり,人的性能に比較して顕著な相違があることが示唆された。
  論文  参考訳（メタデータ） (2024-09-30T08:05:00Z)
• MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
  本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。 MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。 ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
  論文  参考訳（メタデータ） (2024-06-20T17:26:01Z)
• Towards Event-oriented Long Video Understanding [101.48089908037888]
  Event-Benchは、既存のデータセットとヒューマンアノテーションに基づいて構築された、イベント指向の長いビデオ理解ベンチマークである。 VIMは、統合されたイベント集約型ビデオ命令を用いて、ビデオMLLMを強化するコスト効率のよい方法である。
  論文  参考訳（メタデータ） (2024-06-20T09:14:19Z)
• VideoVista: A Versatile Benchmark for Video Understanding and Reasoning [46.838692817107116]
  さまざまなコンテンツカテゴリ、期間、能力の課題を統合するビデオQAベンチマークであるVideoVistaを紹介します。 VideoVistaは、14のカテゴリー(例えば、ハウト、フィルム、エンターテイメント)にまたがる3,400本のビデオから、25,000の質問で構成されており、期間は数秒から10分以上である。 19種類の理解タスク(例:異常検出、相互作用理解)と8つの推論タスク(例:論理推論、因果推論)を含んでいる。
  論文  参考訳（メタデータ） (2024-06-17T08:09:00Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• Video-Bench: A Comprehensive Benchmark and Toolkit for Evaluating Video-based Large Language Models [81.84810348214113]
  ビデオベースの大規模言語モデル(Video-LLMs)が最近導入され、認識と理解の基本的な改善と多様なユーザからの問い合わせの両方をターゲットにしている。 このようなモデルの開発を導くため、堅牢で包括的な評価システムの構築が重要となる。 本稿では,ビデオLLMの評価に特化して設計されたツールキットとともに,新しい総合的なベンチマークであるtextitVideo-Benchを提案する。
  論文  参考訳（メタデータ） (2023-11-27T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。