論文の概要: Rigel: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation

• arxiv url: http://arxiv.org/abs/2606.29997v1
• Date: Mon, 29 Jun 2026 09:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.155811
• Title: Rigel: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation
• Title（参考訳）: Rigel: 画像とビデオのキャプション評価のための自己拡張スコア適応
• Abstract要約: Rigelは、自己蒸留スコア適応に基づく画像とビデオのキャプションの自動評価指標である。 Rigelをトレーニングするために,3,338のビデオクリップ,33,380の参照キャプション,5,637の候補キャプションを含むVid-Lepusデータセットを構築した。
• 参考スコア（独自算出の注目度）: 2.964340015030302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic evaluation of image and video captioning is essential for benchmarking multimodal systems, although standard evaluation metrics show limited alignment with human judgments. Recent approaches using large language models (LLMs), commonly referred to as LLM-as-a-Judge, have improved alignment with human judgments but still suffer from a mismatch between large-vocabulary language modeling and evaluation over a small label set. To address this, we propose Rigel, an automatic evaluation metric for image and video captioning, based on self-distilled score adaptation. The metric employs an evaluation-specific scoring head distilled from a frozen LLM, which captures judgment signals in a task-aligned space without relying on large-vocabulary token sets. We then refine the LLM backbone with human judgment data. To train Rigel, we constructed the Vid-Lepus dataset, which contains 3,338 video clips, 33,380 reference captions, and 5,637 candidate captions. Experiments on multiple benchmarks show that Rigel outperforms state-of-the-art metrics, achieving over 10-point improvements on ActivityNet-Fact in the reference-free setting.
• Abstract（参考訳）: 画像キャプションとビデオキャプションの自動評価はマルチモーダルシステムのベンチマークには不可欠である。 LLM-as-a-Judgeと呼ばれる大規模言語モデル(LLM)を用いた最近のアプローチでは、人間の判断との整合性が向上しているが、大語彙の言語モデリングと小さなラベルセットによる評価のミスマッチに悩まされている。 そこで本稿では,自己蒸留スコア適応に基づく画像とビデオのキャプションの自動評価指標であるRigelを提案する。 この計量は、凍結LDMから抽出した評価特異的スコアリングヘッドを使用し、大きな語彙のトークンセットに頼ることなくタスク整合空間で判定信号をキャプチャする。 次に、人間の判断データを用いてLLMバックボーンを精査する。 Rigelをトレーニングするために,3,338のビデオクリップ,33,380の参照キャプション,5,637の候補キャプションを含むVid-Lepusデータセットを構築した。 複数のベンチマークの実験によると、Rigelは最先端のメトリクスよりも優れており、参照なし設定でActivityNet-Factを10ポイント以上改善している。

関連論文リスト

• ITIScore: An Image-to-Text-to-Image Rating Framework for the Image Captioning Ability of MLLMs [84.09282931360089]
  ICBenchは、12のコンテンツカテゴリをカバーする大規模な画像キャプションベンチマークであり、2K画像の短いキャプションと長いキャプションで構成されている。 我々は、詳細な評価範囲で平均世論スコア(MOS)を得るために、広範囲にわたる主観的研究を行う。 画像からテキストへ画像への変換を行うフレームワークをベースとした自動評価基準であるtextbfitiscore を提案する。
  論文  参考訳（メタデータ） (2026-04-04T15:33:07Z)
• VELA: An LLM-Hybrid-as-a-Judge Approach for Evaluating Long Image Captions [3.8028282626618526]
  VELAはLLM-Hybrid-as-a-Judgeフレームワーク内で開発された長文キャプションの自動評価指標である。 LongCap-Arenaは、ロングキャプションのメトリクスを評価するために特別に設計されたベンチマークである。
  論文  参考訳（メタデータ） (2025-09-30T05:52:34Z)
• VideoJudge: Bootstrapping Enables Scalable Supervision of MLLM-as-a-Judge for Video Understanding [57.15309719147799]
  ビデオ理解モデルから出力を評価するための3Bおよび7BサイズのMLLM判定器であるVideoJudgeを紹介する。 VideoJudgeのトレーニングには、ジェネレータと評価器の相互作用に基づいてレシピを構築します。 4つのメタ評価ベンチマークのうち3つで、VideoJudge-7BはMLLMの判断基準を大きく上回っている。
  論文  参考訳（メタデータ） (2025-09-25T19:22:57Z)
• Painting with Words: Elevating Detailed Image Captioning with Benchmark and Alignment Learning [56.31096024472269]
  我々はDeCapBenchと、詳細なキャプションタスク用に特別に設計された新しいメトリックであるDCScoreを紹介する。 DCScoreは、反応を最小の自己充足単位に分解することで、幻覚ときめ細かい包括性を評価する。 DeCapBenchは、視覚言語モデルの既存のベンチマークを上回り、記述タスクにおけるVLMアリーナの結果と高い相関を示す。
  論文  参考訳（メタデータ） (2025-03-10T22:53:56Z)
• Evaluating Image Caption via Cycle-consistent Text-to-Image Generation [24.455344211552692]
  画像キャプションモデルのための参照不要自動評価指標であるCAMScoreを提案する。 上記のモダリティギャップを回避するため、CAMScoreはテキスト・ツー・イメージ・モデルを用いてキャプションから画像を生成し、生成した画像を元の画像に対して評価する。 実験結果から,CAMScoreは既存の基準ベースおよび基準フリー指標と比較して,人間の判断との相関が良好であることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T06:35:34Z)
• Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage [50.84150600032693]
  MLLM(Multimodal large language model)は、非常に詳細なキャプションを生成するのに優れるが、幻覚を引き起こすことが多い。 我々は,LLM-MLLM協調を利用して与えられたキャプションを補正するマルチエージェント手法を提案する。 提案手法は, キャプションの精度を向上し, GPT-4Vによるキャプションの精度を向上する。
  論文  参考訳（メタデータ） (2024-12-20T01:37:22Z)
• FineSurE: Fine-grained Summarization Evaluation using LLMs [22.62504593575933]
  FineSurEは,大規模言語モデル(LLM)を用いた要約タスクに適した,きめ細かい評価器である。 また、忠実さに加えて完全性と簡潔さの基準を採用し、多次元評価を可能にしている。
  論文  参考訳（メタデータ） (2024-07-01T02:20:28Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching [90.98122161162644]
  現在のビデオキャプションの指標は、主に参照キャプションと候補キャプションのテキストレベルの比較に基づいている。 EMScore(Embedding Matching-based score)を提案する。 我々は、よく訓練された視覚言語モデルを用いて、EMScore 計算のための視覚的および言語的埋め込みを抽出する。
  論文  参考訳（メタデータ） (2021-11-17T06:02:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。