論文の概要: QEVA: A Reference-Free Evaluation Metric for Narrative Video Summarization with Multimodal Question Answering

• arxiv url: http://arxiv.org/abs/2604.24052v1
• Date: Mon, 27 Apr 2026 05:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.752237
• Title: QEVA: A Reference-Free Evaluation Metric for Narrative Video Summarization with Multimodal Question Answering
• Title（参考訳）: QEVA:マルチモーダル質問回答を用いたナラティブビデオ要約のための基準フリー評価基準
• Authors: Woojun Jung, Junyeong Kim,
• Abstract要約: 提案するQEVAは,マルチモーダル質問応答により,ソースビデオに対して直接的に候補要約を評価するための基準のない指標である。 MLVUデータセットから得られた注釈付きベンチマークであるMLVU(VS)-Evalについても紹介する。
• 参考スコア（独自算出の注目度）: 3.991227825628154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-to-text summarization remains underexplored in terms of comprehensive evaluation methods. Traditional n-gram overlap-based metrics and recent large language model (LLM)-based approaches depend heavily on human-written reference summaries, limiting their practicality and sensitivity to nuanced semantic aspects. In this paper, we propose QEVA, a reference-free metric evaluating candidate summaries directly against source videos through multimodal question answering. QEVA assesses summaries along three clear dimensions: Coverage, Factuality, and Chronology. We also introduce MLVU(VS)-Eval, a new annotated benchmark derived from the MLVU dataset, comprising 800 summaries generated from 200 videos using state-of-the-art video-language multimodal models. This dataset establishes a transparent and consistent framework for evaluation. Experimental results demonstrate that QEVA shows higher correlation with human judgments compared to existing approaches, as measured by Kendall's $τ_b$, $τ_c$, and Spearman's $ρ$. We hope that our benchmark and metric will facilitate meaningful progress in video-to-text summarization research and provide valuable insights for the development of future evaluation methods.
• Abstract（参考訳）: ビデオとテキストの要約は、総合的な評価手法の観点からはまだ探索されていない。 従来のn-gramオーバーラップベースのメトリクスと最近の大規模言語モデル(LLM)ベースのアプローチは、人間の記述した参照サマリーに大きく依存しており、その実用性と繊細なセマンティックな側面に対する感受性を制限している。 本稿では,QEVAを提案する。QEVAは,マルチモーダルな質問応答を通じて,ソースビデオに対して直接的に候補要約を評価する基準のない指標である。 QEVAは3つの明確な次元に沿って要約を評価する。 MLVUデータセットから得られた注釈付きベンチマークであるMLVU(VS)-Evalについても紹介する。 このデータセットは、透過的で一貫した評価フレームワークを確立する。 実験の結果,Kendallの$τ_b$,$τ_c$,およびSpearmanの$ρ$で測定されたように,QEVAは既存のアプローチと比較して人間の判断と高い相関を示した。 我々は,このベンチマークとメトリクスが,映像とテキストの要約研究における有意義な進展を促進し,今後の評価手法の開発に有用な洞察を提供することを期待している。

関連論文リスト

• SummDiff: Generative Modeling of Video Summarization with Diffusion [17.773776413936435]
  ビデオ要約は、その重要な瞬間を保ちながら、フレームのサブセットを選択することで、ビデオを短くするタスクである。 先行研究は、複数のラッカーよりも平均的なフレームスコアに決定的に回帰し、良い要約を構成するものの本質的な主観性を無視している。 条件生成タスクとしてビデオ要約をフレーミングすることで,新しい問題定式化を提案する。 映像要約において初めて拡散モデルを採用することで,提案手法であるSummDiffは動的に視覚的文脈に適応し,入力ビデオに条件付き複数の候補要約を生成する。
  論文  参考訳（メタデータ） (2025-10-09T17:03:51Z)
• FIOVA: A Multi-Annotator Benchmark for Human-Aligned Video Captioning [15.363132825156477]
  大規模視覚言語モデル(LVLM)の評価に適した人中心ベンチマークであるFIOVAを紹介する。 実際のビデオは3,002本(それぞれ33.6本)で、それぞれが5つのアノテーションによって独立して注釈付けされている。 本稿では,アノテータのコンセンサスから得られる認知重みを組み込んだ事象レベルの評価指標であるFIOVA-DQを提案する。
  論文  参考訳（メタデータ） (2024-10-20T03:59:54Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• DeVAn: Dense Video Annotation for Video-Language Models [68.70692422636313]
  実世界のビデオクリップに記述を生成する視覚言語モデルの有効性を評価するために,人間の注釈付きデータセットを提案する。 データセットには、20秒から60秒間の8.5KのYouTubeビデオクリップが含まれており、幅広いトピックや関心事をカバーしている。
  論文  参考訳（メタデータ） (2023-10-08T08:02:43Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Video Summarization Based on Video-text Modelling [0.0]
  ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。 また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。 映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-07T15:21:46Z)
• Realistic Video Summarization through VISIOCITY: A New Benchmark and Evaluation Framework [15.656965429236235]
  いくつかの課題に対処することで,ビデオの自動要約をより現実的にするための一歩を踏み出した。 まず、現在利用可能なデータセットは、非常に短いビデオを持っているか、特定のタイプのビデオしか持たない。 6つのカテゴリにまたがる長いビデオからなる新しいベンチマークデータセットVISIOCITYを導入する。
  論文  参考訳（メタデータ） (2020-07-29T02:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。