論文の概要: Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.21305v1
- Date: Fri, 21 Aug 2026 17:07:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.645033
- Title: Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
- Title（参考訳）: Re$3$Cap:Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
- Abstract要約: 我々は,マルチモーダル検索がキャプションリファインメントの効果的な推論信号として機能すると主張している。
本稿では,検索誘導推論戦略であるRetrieval-Guided Refinement for Image Captioning (Re$3$Cap)を提案する。
- 参考スコア（独自算出の注目度）: 13.794868838200465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement Learning (RL) has demonstrated significant gains in image captioning, yet it is still limited in encouraging Large Vision-Language Models (LVLMs) to explore novel reasoning strategies. This limitation leads to a performance gap between RL and Supervised Fine-Tuning (SFT). In this paper, we argue that multi-modal retrieval can serve as an effective reasoning signal for caption refinement. Based on this insight, we present the Retrieval-Guided Refinement for Image Captioning (Re$^3$Cap), a retrieval-guided reasoning strategy that enhances image captioning without requiring additional annotations. Instantiated by Caption Refinement Suggester (CRS) and Caption Quality Assessor (CQA), this strategy identifies hallucinations and omissions in image captions, leading to more accurate and detailed descriptions. Extensive experiments demonstrate the superiority of our method in image captioning, even compared with Supervised Fine-Tuning. Especially, Re$^3$Cap outperforms GRPO with an average improvement of 8.64% in relation reasoning on the COCO-LN500 benchmark.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は画像キャプションにおいて大きな進歩を見せているが, 新たな推論戦略を探求するためのLVLM(Large Vision-Language Models)の奨励には依然として限界がある。
この制限により、RLとSupervised Fine-Tuning (SFT)のパフォーマンスギャップが生じる。
本稿では,マルチモーダル検索がキャプションリファインメントの効果的な推論信号となり得ることを論じる。
この知見に基づいて,検索誘導推論戦略であるRetrieval-Guided Refinement for Image Captioning (Re$^3$Cap)を提案する。
Caption Refinement Suggester (CRS) と Caption Quality Assessor (CQA) によって実証されたこの戦略は、画像キャプションにおける幻覚と省略を識別し、より正確で詳細な説明をもたらす。
画像キャプションにおける提案手法の優位性は,Supervised Fine-Tuningと比較しても大きい。
特に、Re$^3$Capは、COCO-LN500ベンチマークで平均8.64%の改善でGRPOを上回っている。
関連論文リスト
- CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning [86.9494763617273]
本稿では,Captioning Reinforcement Learning++ (CapRL++)を紹介した。
本稿では,CapRL++が高密度キャプション品質を向上し,空間的・時間的理解などのタスクにおけるキャプションベースの事前訓練を強化していることを示す。
論文 参考訳（メタデータ） (2026-06-08T12:09:20Z) - VCap: Hypergeometric Rewards for Weak-to-Strong Visual Captioning [57.588999592609646]
本稿では,参照キャプション(証人)と視覚信号(代弁者)とをペアにする,証人-代弁者報酬であるVCapを提案する。
VCapは、キャプションの品質検証のための超幾何分布レベルの精度を持つ報酬信号を提供する。
実験では,VCapでトレーニングした8Bモデルは,複数の画像およびビデオキャプションベンチマーク上で,オープンソースおよびクローズドソースSOTAモデルより優れていた。
論文 参考訳（メタデータ） (2026-05-27T06:27:04Z) - BalCapRL: A Balanced Framework for RL-Based MLLM Image Captioning [4.441850776689605]
そこで本稿では, 実用意識の正しさ, 参照カバレッジ, 言語品質を協調的に最適化する, よりバランスのとれた強化学習フレームワークを提案する。
提案手法はキャプション品質を常に改善し, ピークゲインは+13.6 DCScore, +9.0 CaptionQA, +29.0 Cap である。
論文 参考訳（メタデータ） (2026-05-08T07:48:36Z) - RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning [15.881702574415861]
RubiCapは、ルーリックから微細でサンプル固有の報酬信号を導き出す、新しい強化学習フレームワークである。
ルビキャップは、CapArenaの最高勝利率、教師付き蒸留法、先行RL法、人為的アノテーション、GPT-4V拡張出力を達成している。
論文 参考訳（メタデータ） (2026-03-10T03:51:27Z) - CapRL: Stimulating Dense Image Caption Capabilities via Reinforcement Learning [90.19455861166745]
本稿では,キャプションの品質を再定義するトレーニングフレームワークであるCaptioning Reinforcement Learning (CapRL)を紹介する。
主観的画像キャプションタスクにRLVRを適用した最初の研究として、CapRLは複数の設定を大幅に強化することを示した。
CapRLはQwen2.5-VL-72Bに匹敵する性能を達成し、ベースラインのマージンは平均8.4%を超えた。
論文 参考訳（メタデータ） (2025-09-26T17:59:55Z) - Painting with Words: Elevating Detailed Image Captioning with Benchmark and Alignment Learning [56.31096024472269]
我々はDeCapBenchと、詳細なキャプションタスク用に特別に設計された新しいメトリックであるDCScoreを紹介する。
DCScoreは、反応を最小の自己充足単位に分解することで、幻覚ときめ細かい包括性を評価する。
DeCapBenchは、視覚言語モデルの既存のベンチマークを上回り、記述タスクにおけるVLMアリーナの結果と高い相関を示す。
論文 参考訳（メタデータ） (2025-03-10T22:53:56Z) - AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark [89.73538448786405]
大規模なマルチモーダルモデルに基づくビデオキャプタであるAuroraCapを提案する。
トークンマージ戦略を実装し、入力されたビジュアルトークンの数を減らす。
AuroraCapは、様々なビデオおよび画像キャプションベンチマークで優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-10-04T00:13:54Z) - Distinctive Image Captioning: Leveraging Ground Truth Captions in CLIP
Guided Reinforcement Learning [9.443456804893207]
強化学習(RL)は、生成されたキャプションと入力画像の相互検索類似度スコアを報酬として使用してトレーニングをガイドする。
近年の研究では、訓練済みのクロスモーダル検索モデルを用いて報酬を得られることが示されており、参照キャプションの必要性を完全に排除している。
本稿では,GTキャプションを異なる方法で活用する画像キャプション訓練戦略を提案する。
論文 参考訳（メタデータ） (2024-02-21T17:05:06Z) - Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。
近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。
本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
論文 参考訳（メタデータ） (2022-05-26T03:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。