論文の概要: Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering
- arxiv url: http://arxiv.org/abs/2609.09973v1
- Date: Wed, 09 Sep 2026 10:00:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.971711
- Title: Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering
- Title（参考訳）: 字幕をテストに当てる:複数質問応答によるビデオ字幕品質の評価
- Abstract要約: CapQuizは、人間によって検証され、きめ細かな複数の質問に答えるときに、その有用性に基づいてキャプションを評価する、新しい参照不要のベンチマークである。
CapQuizは既存の指標よりも人間の判断と非常によく相関しており、モデル性能に関する解釈可能な洞察を提供する。
- 参考スコア（独自算出の注目度）: 18.82625951944924
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Evaluating video captioning remains a critical challenge for Visual Large Language Models (VLLMs). Existing metrics primarily rely on matching generated text against ground-truth references. This paradigm suffers from the ``one-to-many'' nature of video description, where high-quality captions are often penalized for lexical mismatches or valid shifts in visual focus. Furthermore, such assessments are typically one-dimensional, failing to provide a fine-grained analysis of caption quality. To address this, we redefine caption quality through the lens of information fidelity: A caption must maximize the coverage of salient visual information while ensuring strict factuality. We introduce CapQuiz, a novel reference-free benchmark that assesses captions based on their utility in answering human-verified, fine-grained, multiple-choice questions derived from the video. CapQuiz features a hierarchical taxonomy of 10 question types (spanning Descriptive and Inferential categories) across 24 diverse video domains. Extensive experiments demonstrate that CapQuiz correlates significantly better with human judgments than existing metrics and offers interpretable insights into model performance.
- Abstract（参考訳）: ビデオキャプションの評価は、Visual Large Language Models (VLLMs) にとって重要な課題である。
既存のメトリクスは、主に生成したテキストと地味な参照とのマッチングに依存します。
このパラダイムはビデオ記述の‘one-to-Many’という性質に悩まされており、語彙ミスマッチや視覚的焦点の有効なシフトに対して、高品質なキャプションがしばしばペナル化される。
さらに、このような評価は典型的には1次元であり、キャプションの品質を詳細に分析することができない。
キャプションは、厳密な事実性を確保しつつ、健全な視覚情報のカバレッジを最大化しなければならない。
CapQuizは、ビデオから得られた人間によって検証された、きめ細かな複数の質問に答える際の、キャプションの有用性に基づいて、キャプションを評価する新しいリファレンスフリーベンチマークである。
CapQuizは、24の多様なビデオドメインにまたがる10の質問タイプ(説明と推論のカテゴリを拡大する)の階層的な分類を特徴としている。
大規模な実験では、CapQuizは既存のメトリクスよりも人間の判断と大きく相関し、モデルパフォーマンスに対する解釈可能な洞察を提供する。
関連論文リスト
- CAPEval: A Decoupled Caption Evaluation across Understanding and Generation [29.355541032573285]
そこで我々は,人間による接頭辞文と人間による検証済みの原子チェックリスト項目を用いた,分離された字幕評価ベンチマークCAPEvalを設計した。
カバレッジは、パフォーマンスを理解するための強い相関関係として機能し、Precisionは、生成パフォーマンスの主要な予測器として機能します。
論文 参考訳（メタデータ） (2026-08-03T17:57:03Z) - CapRiCorn-1K: A Comprehensive Benchmark for Video Captioning and Subject Referential Consistency Across Temporal Scales [41.187897807081875]
CapRiCorn-1Kは、ビデオキャプションの品質と、長い時間的水平線と多様なビデオ領域にわたる主観的参照整合性の両方を評価するために設計されたベンチマークである。
私たちのベンチマークでは、オーディオ視覚と視覚のみの設定の両方をサポートしています。
評価指標は, 生成されたキャプション上での下流理解および生成タスクの性能と強い相関を示す。
論文 参考訳（メタデータ） (2026-06-20T08:37:32Z) - CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning [86.9494763617273]
本稿では,Captioning Reinforcement Learning++ (CapRL++)を紹介した。
本稿では,CapRL++が高密度キャプション品質を向上し,空間的・時間的理解などのタスクにおけるキャプションベースの事前訓練を強化していることを示す。
論文 参考訳（メタデータ） (2026-06-08T12:09:20Z) - Advancing Reference-free Evaluation of Video Captions with Factual Analysis [11.012178413572066]
本稿では,レファレンスフリーかつ事実的根拠のない新しいキャプション品質評価器であるVC-Inspectorを紹介する。
提案手法は,VATEX-Evalデータセット上での人間の判断に優れた整合性を示し,既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2025-09-20T05:04:41Z) - ScaleCap: Inference-Time Scalable Image Captioning via Dual-Modality Debiasing [128.8346376825612]
高品質画像キャプションの主な課題は、LVLMの固有のバイアスにある。
本稿では,キャプションを継続的に強化・校正し,推論予算を増大させる,スケーラブルなデバイアス付きキャプション戦略を提案する。
450KイメージにScaleCapをアノテートし、LVLMプレトレーニングに使用することで、11の広く使用されているベンチマークで一貫したパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-06-24T17:59:55Z) - The Devil is in the Distributions: Explicit Modeling of Scene Content is Key in Zero-Shot Video Captioning [89.64905703368255]
ゼロショットビデオキャプションのためのプログレッシブな多粒性テキストプロンプト戦略を提案する。
提案手法は,名詞句,名詞句のシーングラフ,全文を含む3つの異なる記憶バンクを構築する。
論文 参考訳（メタデータ） (2025-03-31T03:00:19Z) - CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness [30.44039177018447]
CAPabilityは、6つの重要なビューにまたがる12次元にわたる視覚的キャプションを評価するための総合的なベンチマークである。
我々は、生成したキャプションを評価するために、視覚要素アノテーションで1万1千近い人注画像や動画をキュレートした。
論文 参考訳（メタデータ） (2025-02-19T07:55:51Z) - AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark [89.73538448786405]
大規模なマルチモーダルモデルに基づくビデオキャプタであるAuroraCapを提案する。
トークンマージ戦略を実装し、入力されたビジュアルトークンの数を減らす。
AuroraCapは、様々なビデオおよび画像キャプションベンチマークで優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-10-04T00:13:54Z) - Transparent Human Evaluation for Image Captioning [70.03979566548823]
画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。
人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。
この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
論文 参考訳（メタデータ） (2021-11-17T07:09:59Z) - Intrinsic Image Captioning Evaluation [53.51379676690971]
I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。
実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
論文 参考訳（メタデータ） (2020-12-14T08:36:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。