論文の概要: Similar Scores, Opposite Failures: Human Correction as an Instrument for Video Caption Evaluation

• arxiv url: http://arxiv.org/abs/2610.38511v1
• Date: Wed, 28 Oct 2026 09:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 10:26:45.235923
• Title: Similar Scores, Opposite Failures: Human Correction as an Instrument for Video Caption Evaluation
• Title（参考訳）: 類似のスコア, 反対の失敗: ビデオキャプション評価のための楽器としての人間の矯正
• Abstract要約: 単文キャプションの指標が密集したマルチウィンドウ映像における人間の判断を回復するかどうかを検証した。 参照オーバーラップのメトリクスは、レビュアーが受け入れたキャプションを、拒否したキャプションと区別しないことがわかった。 補正オーバービュー率は54.1-72.7%であるが、15対のギャップのうち4つしかボニフェロニ補正に残っていない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video captioning models are increasingly evaluated with metrics designed for single-sentence image captions. We test whether those metrics recover human judgement on dense, multi-window video description, and find that they do not. Six frontier models captioned 196 short clips. Trained annotators post-edited every caption against a failure taxonomy fixed before annotation, once as a whole-clip overview and once window by window, and a quality-control reviewer checked each annotation, yielding 1,144 overview verdicts and 4,672 window verdicts. Reference-overlap metrics do not separate the captions reviewers accepted from those they rejected: BLEU-4 reaches an AUC of 0.510 and a CIDEr-style tf-idf cosine 0.528, and restricting references to reviewer corrections leaves BLEU-4 at 0.479 (95% CI 0.431-0.529), indistinguishable from chance. Review granularity changes what is detected. The same annotators record camera and shot errors on 2.7% of captions when reading the overview and on 12.8% when reading window by window, a 4.7x gap that holds across every robustness check we ran, on the mode most likely to need a near-total rewrite. Correct-overview rates span 54.1-72.7%, but only 4 of 15 pairwise gaps survive Bonferroni correction (5 after adjusting for reviewer and clip effects), and accuracy and derived severity order the models differently. Models with statistically indistinguishable accuracy have sharply different failure profiles, which no single scalar shows. We argue that caption evaluation should record what was wrong rather than only how often, and we report the taxonomy, the per-model profiles, the corpus properties that predict difficulty, and the code that regenerates every number in the paper.
• Abstract（参考訳）: ビデオキャプションモデルは、単文画像キャプション用に設計されたメトリクスでますます評価される。 これらの指標が密集したマルチウィンドウの映像記述における人間の判断を回復するかどうかを検証し、それらがそうでないことを確かめる。 6つのフロンティアモデルが196本のショートクリップをキャプションした。 トレーニングされたアノテータは、すべてのキャプションを、アノテーションの前に固定された失敗分類に対して後から編集し、一度は全クリック概要として、一度はウィンドウごとにウィンドウとして、そして品質管理のレビュアーが各アノテーションをチェックし、1,144のオーバービュー検証と4,672のウィンドウ検証を得た。 BLEU-4 は AUC 0.510 と CIDEr スタイルの tf-idf cosine 0.528 に到達し、レビュアー補正への参照を制限すると、BLEU-4 は 0.479 (95% CI 0.431-0.529) となり、偶然と区別できない。 粒度をレビューすると、何が検出されるかが変わる。 同じアノテータは、概要を読むときに2.7%のキャプションにカメラとショットエラーを記録し、ウィンドウごとの読み込みでは12.8%、実行したロバスト性チェックでは4.7倍の差があり、モードではほぼ完全に書き換える必要がある。 補正オーバービュー率は54.1-72.7%であるが、ボンフェロニ補正(レビュアーとクリップ効果の調整後5回)は15対のギャップのうち4つしか残っていない。 統計的に区別できない精度のモデルでは、障害プロファイルが著しく異なり、単一のスカラーが示さない。 キャプション評価は、頻度だけでなく、何が悪いのかを記録するべきだと論じ、分類、モデルごとのプロファイル、難易度を予測するコーパス特性、各数値を再生するコードについて報告する。

関連論文リスト

• Decision Readouts for Text-Mediated Video Anomaly Detection: An Exploratory Evaluation of Jev and Qwen [9.92799001840128]
  我々は,UCF-CrimeとXD-Violenceの40本の動画と400本のターゲットアンカーのスパース開発サンプルを用いて,Jev型判定と3つのQwen読み出し結果を評価した。 XDキャプションでは、Jev Noulは平均精度を75.99%、Qwen生成確率は48.47%、ローカルな順序的予想が57.81%に達した。
  論文  参考訳（メタデータ） (2026-09-28T02:58:55Z)
• Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis [0.0]
  ラテン音場正書法で書かれたクルド方言の音声認識を評価する。 原文のアラビア文字仮説は111.70%のWERと100.92%のCERであり、正確な単語一致はゼロである。 ラテン語の文字化では102.36%のWERと57.89%のCERが与えられ、参照を縮小した正書法に折り畳むと97.85%と51.20%となる。
  論文  参考訳（メタデータ） (2026-08-17T10:31:30Z)
• VideoArgus: Agentic Rubric-Grounded Unified Evaluation for Video Generation and Editing [65.49021465098606]
  VideoArgusは5つのビデオ生成と編集設定をカバーする統合フレームワークである。 VideoArgusは一度、出力盲のサンプル固有のルーリックを生成し、それを再利用して、対応するすべてのビデオを評価する。
  論文  参考訳（メタデータ） (2026-08-06T00:28:38Z)
• Do large language models scrutinise what they review? A multimodal audit of scoring calibration, error detection, and author-identity effects [0.0]
  大きな言語モデル(LLM)は、ピアレビューを生成するためにますます使われています。 本研究は,2026年国際学習表現会議への165件の応募に対して,2つのマルチモーダルLCMをレビュアーとして評価した。
  論文  参考訳（メタデータ） (2026-07-31T12:12:33Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection [49.17822187252066]
  VDC-AgentはDetailed Captioningのための自己進化フレームワークである。 VDC-Agent-7Bは、VDCベンチマークで最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-11-24T18:59:56Z)
• Unblocking Fine-Grained Evaluation of Detailed Captions: An Explaining AutoRater and Critic-and-Revise Pipeline [58.832237984587664]
  VNLI-Critiqueは,自動文レベルの事実性分類と批判生成のためのモデルである。 1) VNLI-CritiqueはM-HalDetectベンチマークの最先端性能によって検証された堅牢な一般化を実証し、(2) VNLI-CritiqueによるDOCCI-Critique向けAutoRaterは信頼性の高いVLMランキングを提供し、人間の事実性判断と優れた整合性を示す。
  論文  参考訳（メタデータ） (2025-06-09T10:57:26Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning [90.13978453378768]
  生成したチャートキャプションに事実誤りを包括的に分類する。 大規模な人間のアノテーションの取り組みは、様々なチャートキャプションモデルによって作られたキャプションのエラーパターンと頻度に関する洞察を提供する。 分析の結果,GPT-4Vを含む最先端モデルでさえ,事実不正確なキャプションを頻繁に生成していることが判明した。
  論文  参考訳（メタデータ） (2023-12-15T19:16:21Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。