論文の概要: Metric-Driven Reinforcement Learning for Object Hallucination Reduction in LVLM-Based Image Captioning

• arxiv url: http://arxiv.org/abs/2610.14976v1
• Date: Sat, 10 Oct 2026 14:47:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 03:04:09.027312
• Title: Metric-Driven Reinforcement Learning for Object Hallucination Reduction in LVLM-Based Image Captioning
• Title（参考訳）: LVLM画像キャプションにおける物体幻覚低減のためのメトリック駆動強化学習
• Abstract要約: LVLM(Large Vision-Language Models)は、特に画像キャプションにおいて、視覚的および言語的理解において優れている。 データセットを強化した教師付きトレーニングや、人間のフィードバックからの強化学習を含む、以前の治療法は、約束を示しているが、コストのかかる人間の関与に大きく依存している。 自然言語処理(NLP)メトリクスによって駆動されるLVLM画像キャプションにおける物体の幻覚を軽減するための強化学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.05194972798784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) have excelled in joint visual and language understanding, particularly in image captioning. However, LVLMs remain prone to object hallucination, describing non-existent entities in the given image. Previous remedies, including dataset-enhanced supervised training and reinforcement learning from human feedback, show promise but rely heavily on costly human involvement, limiting scalability. To address this, we propose a reinforcement learning framework to mitigate object hallucination in LVLM-based image captioning, driven entirely by natural language processing (NLP) metrics. While optimizing reinforcement learning solely on NLP metrics offers scalability, it also introduces pitfalls: reward hacking, sparse feedback, and costly training. Our framework sidesteps these by introducing an Object Consistency Score (OCS) capturing both correctness and coverage of objects, incorporating KL-regularization for denser token-level guidance, and designing a lightweight PPO variant that fine-tunes adapters atop a frozen LVLM backbone, achieving efficiency and stability. Extensive experiments on the InstructBLIP baseline demonstrate the effectiveness and generalizability of our framework, achieving a substantial hallucination reduction of up to 41\% on the COCO dataset and 29\% on the Visual Genome. Furthermore, the framework can enhance caption quality by incorporating complementary evaluation metrics such as BERTScore and METEOR. These results reveal a broader insight in multimodal learning: LVLMs can effectively self-correct hallucinations using metric feedback, motivating deeper exploration into scalable reinforcement frameworks that significantly reduce human effort.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、特に画像キャプションにおいて、視覚的および言語的理解において優れている。 しかし、LVLMは対象の幻覚の傾向が強く、与えられた画像に存在しない実体を記述する。 データセット強化による教師付きトレーニングや、人間からのフィードバックからの強化学習を含む、以前の改善は、約束を示しているが、コストのかかる人間の関与に大きく依存し、スケーラビリティを制限している。 そこで本研究では,LVLMを用いた画像キャプションにおいて,自然言語処理(NLP)のメトリクスによって駆動される物体の幻覚を軽減するための強化学習フレームワークを提案する。 NLPメトリクスにのみ依存する強化学習の最適化はスケーラビリティを提供する一方で、報酬ハック、少ないフィードバック、コストのかかるトレーニングといった落とし穴も導入している。 我々のフレームワークは、オブジェクトの正確さとカバレッジの両方をキャプチャするObject Consistency Score(OCS)を導入し、より密集したトークンレベルのガイダンスにKL-regularizationを導入し、凍結したLVLMバックボーンの上に微調整アダプタを配置し、効率と安定性を実現する軽量なPPOバリアントを設計することで、これらを後押しします。 InstructBLIPベースラインの大規模な実験により、我々のフレームワークの有効性と一般化性を示し、COCOデータセットで最大41倍、Visual Genomeで最大29倍の幻覚低下を実現した。 さらに、BERTScoreやMETEORといった補完的な評価指標を組み込むことで、キャプション品質を向上させることができる。 LVLMは、メトリックフィードバックを使用して効果的に自己修正幻覚を発生させ、人間の労力を大幅に削減するスケーラブルな強化フレームワークのより深い探索を動機付けます。

関連論文リスト

• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• Mitigating Hallucinations in Large Vision-Language Models (LVLMs) via Language-Contrastive Decoding (LCD) [13.430637580980164]
  Large Vision-Language Models (LVLM) は、画像入力とテキスト入力の両方の処理を容易にし、AI機能を拡張したLarge Language Models (LLM)の拡張である。 本研究では,LVLMの出力をLarge Language Models分布の信頼性レベルに基づいて調整するLanguage Contrastive Decoding (LCD)アルゴリズムを提案する。 本手法は,複雑な後処理や再学習を必要とせず,LVLMを効果的に改善し,異なるモデルに容易に適用できる。
  論文  参考訳（メタデータ） (2024-08-06T08:10:34Z)
• Seeing is Believing: Mitigating Hallucination in Large Vision-Language Models via CLIP-Guided Decoding [36.81476620057058]
  LVLM(Large Vision-Language Models)は、物体の幻覚に影響を受けやすい。 現在のアプローチは、しばしばモデルのトークン可能性やその他の内部情報に依存する。 CLIP-Guided Decoding approach to reduce object hallucination at decoding time。
  論文  参考訳（メタデータ） (2024-02-23T12:57:16Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance [51.30560006045442]
  Image-gRounded guIdaNcE (MARINE)は、トレーニングフリーかつAPIフリーのフレームワークである。 MARINEは、LVLMに画像グラウンドガイダンスを導入することにより、推論中の物体の幻覚を効果的かつ効率的に低減する。 私たちのフレームワークの柔軟性は、さらに複数のビジョンモデルの統合を可能にし、より信頼性が高く堅牢なオブジェクトレベルのガイダンスを可能にします。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。