論文の概要: FAVOR-Bench: A Comprehensive Benchmark for Fine-Grained Video Motion Understanding

• arxiv url: http://arxiv.org/abs/2503.14935v1
• Date: Wed, 19 Mar 2025 06:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:25:34.526495
• Title: FAVOR-Bench: A Comprehensive Benchmark for Fine-Grained Video Motion Understanding
• Title（参考訳）: FAVOR-Bench:ファイングラインドビデオモーション理解のための総合ベンチマーク
• Authors: Chongjun Tu, Lin Zhang, Pengtao Chen, Peng Ye, Xianfang Zeng, Wei Cheng, Gang Yu, Tao Chen,
• Abstract要約: FAVOR-Benchは1,776本の動画からなり,様々な動作の手動アノテーションが組み込まれている。 FAVOR-Trainは17,152の動画と微粒なモーションアノテーションからなるデータセットである。 FAVOR-Train上でQwen2.5-VLを微調整した結果,TVBench,MotionBenchおよびFAVOR-Benchの動作関連タスクに一貫した改善が得られた。
• 参考スコア（独自算出の注目度）: 25.37771142095486
• License:
• Abstract: Multimodal Large Language Models (MLLMs) have shown remarkable capabilities in video content understanding but still struggle with fine-grained motion comprehension. To comprehensively assess the motion understanding ability of existing MLLMs, we introduce FAVOR-Bench, comprising 1,776 videos with structured manual annotations of various motions. Our benchmark includes both close-ended and open-ended tasks. For close-ended evaluation, we carefully design 8,184 multiple-choice question-answer pairs spanning six distinct sub-tasks. For open-ended evaluation, we develop both a novel cost-efficient LLM-free and a GPT-assisted caption assessment method, where the former can enhance benchmarking interpretability and reproducibility. Comprehensive experiments with 21 state-of-the-art MLLMs reveal significant limitations in their ability to comprehend and describe detailed temporal dynamics in video motions. To alleviate this limitation, we further build FAVOR-Train, a dataset consisting of 17,152 videos with fine-grained motion annotations. The results of finetuning Qwen2.5-VL on FAVOR-Train yield consistent improvements on motion-related tasks of TVBench, MotionBench and our FAVOR-Bench. Comprehensive assessment results demonstrate that the proposed FAVOR-Bench and FAVOR-Train provide valuable tools to the community for developing more powerful video understanding models. Project page: \href{https://favor-bench.github.io/}{https://favor-bench.github.io/}.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)はビデオコンテンツ理解において顕著な能力を示したが、それでも細かな動きの理解に苦慮している。 既存のMLLMの動作理解能力を包括的に評価するため,FAVOR-Benchは1,776本のビデオと,さまざまな動作に関する手動アノテーションを備える。 私たちのベンチマークには、クローズドタスクとオープンエンドタスクの両方が含まれています。 提案手法は,6つのサブタスクにまたがる8,184個の質問応答対を慎重に設計する。 オープンエンド評価では,新しいコスト効率のLCMフリーとGPT対応キャプションアセスメントアセスメントの両方を開発し,前者がベンチマークの解釈性と再現性を向上する。 21種類の最先端MLLMによる包括的実験は、ビデオモーションの詳細な時間的ダイナミクスを理解し記述する能力において、重大な制限が示される。 この制限を緩和するために、我々はさらにFAVOR-Trainを構築した。 FAVOR-Train上でQwen2.5-VLを微調整した結果,TVBench,MotionBenchおよびFAVOR-Benchの動作関連タスクに一貫した改善が得られた。 総合評価の結果,提案したFAVOR-BenchとFAVOR-Trainは,より強力な映像理解モデルを開発する上で,コミュニティに貴重なツールを提供することが示された。 プロジェクトページ: \href{https://favor-bench.github.io/}{https://favor-bench.github.io/}

関連論文リスト

• MotionBench: Benchmarking and Improving Fine-grained Video Motion Understanding for Vision Language Models [30.139277087078764]
  MotionBenchは、ビデオ理解モデルの詳細な動作理解を評価するために設計された評価ベンチマークである。 さまざまなソースから収集されたデータが含まれており、現実世界のビデオコンテンツの広範な表現が保証されている。 我々のベンチマークは、より有能な映像理解モデルの開発をガイドし、動機づけることを目的としている。
  論文  参考訳（メタデータ） (2025-01-06T11:57:38Z)
• MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
  本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。 MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。 ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
  論文  参考訳（メタデータ） (2024-06-20T17:26:01Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis [118.08008540513596]
  Video-MMEは、ビデオ解析におけるMLLMの完全なマルチモード評価ベンチマークである。 我々は,GPT-4シリーズやGemini 1.5 Pro,オープンソース画像モデルなど,最先端のMLLMを幅広く評価した。 我々の実験によると、Gemini 1.5 Proは最も優れた商用モデルであり、オープンソースモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-31T17:59:47Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• MVBench: A Comprehensive Multi-modal Video Understanding Benchmark [63.14000659130736]
  本稿では、MVBenchという総合的なマルチモーダルビデオ理解ベンチマークを紹介する。 まず、これらの時間的タスクを定義するための新しい静的-動的手法を提案する。 そして,タスク定義に従って,公開ビデオアノテーションを複数選択QAに自動的に変換し,各タスクを評価する。
  論文  参考訳（メタデータ） (2023-11-28T17:59:04Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Video-Bench: A Comprehensive Benchmark and Toolkit for Evaluating Video-based Large Language Models [81.84810348214113]
  ビデオベースの大規模言語モデル(Video-LLMs)が最近導入され、認識と理解の基本的な改善と多様なユーザからの問い合わせの両方をターゲットにしている。 このようなモデルの開発を導くため、堅牢で包括的な評価システムの構築が重要となる。 本稿では,ビデオLLMの評価に特化して設計されたツールキットとともに,新しい総合的なベンチマークであるtextitVideo-Benchを提案する。
  論文  参考訳（メタデータ） (2023-11-27T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。