論文の概要: Mitigating Hallucinations in Multimodal LLMs via Object-aware Preference Optimization

• arxiv url: http://arxiv.org/abs/2508.20181v1
• Date: Wed, 27 Aug 2025 18:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.647242
• Title: Mitigating Hallucinations in Multimodal LLMs via Object-aware Preference Optimization
• Title（参考訳）: オブジェクト指向選好最適化によるマルチモーダルLLMにおける幻覚の緩和
• Authors: Alberto Compagnoni, Davide Caffagni, Nicholas Moratelli, Lorenzo Baraldi, Marcella Cornia, Rita Cucchiara,
• Abstract要約: MLLM(Multimodal Large Language Models)は、様々なタスクに対処するための統一インターフェースとして登場した。 多くのベンチマークで最先端の結果が誇示されているにもかかわらず、長年の問題はMLLMが幻覚を起こす傾向にある。 本稿では,幻覚の問題をアライメント問題として取り上げ,幻覚を伴わないコンテンツを生成するためのMLLMのステアリングを試みる。
• 参考スコア（独自算出の注目度）: 55.543583937522804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) emerge as a unified interface to address a multitude of tasks, ranging from NLP to computer vision. Despite showcasing state-of-the-art results in many benchmarks, a long-standing issue is the tendency of MLLMs to hallucinate, that is to generate answers to the user's query that are not reflected in the visual input. In this paper, we address the problem of hallucinations as an alignment problem, seeking to steer the MLLM so that it prefers generating content without hallucinations. In contrast to recent approaches that require complicated pipelines to build synthetic preference data for alignment training, often relying on proprietary models, we capitalize on the well-known CHAIR metric, originally proposed to gauge the degree of hallucinations in image captioning. Given a pair of generated answers, we leverage CHAIR to distinguish winner and loser options (i.e., non-hallucinated and hallucinated samples) and fine-tune off-the-shelf MLLMs via Direct Preference Optimization (DPO). The resulting method, which we refer to as CHAIR-DPO, effectively diminishes the amount of hallucinated answers on several hallucination benchmarks, demonstrating the effectiveness of fine-tuning the MLLM with a CHAIR-based reward. Source code and trained models are publicly available at https://github.com/aimagelab/CHAIR-DPO.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、NLPからコンピュータビジョンまで、さまざまなタスクに対処するための統一インターフェースとして登場した。 多くのベンチマークで最先端の結果を誇示しているにもかかわらず、長年の問題はMLLMが幻覚する傾向にあり、視覚的な入力に反映されないユーザのクエリに対する回答を生成することである。 本稿では,幻覚の問題をアライメント問題として取り上げ,幻覚を伴わないコンテンツを生成するためのMLLMのステアリングを試みる。 画像キャプションにおける幻覚の度合いを測るために提案されたCHAIR測度を,プロプライエタリなモデルに頼って,アライメントトレーニングのための合成選好データを構築するために複雑なパイプラインを必要とする最近のアプローチとは対照的に,我々はよく知られたCHAIR測度を利用する。 一対の回答が得られた場合、CHAIRを利用して勝者と敗者の選択肢(非幻覚的、幻覚的サンプル)を区別し、直接選好最適化(DPO)を介して既成のMLLMを微調整する。 結果,CHAIR-DPOは,複数の幻覚ベンチマークにおける幻覚応答量を効果的に低減し,CHAIR-DPOを用いたMLLMの微調整の有効性を示す。 ソースコードとトレーニングされたモデルはhttps://github.com/aimagelab/CHAIR-DPOで公開されている。

関連論文リスト

• Mitigating Object Hallucination via Robust Local Perception Search [11.570368427723961]
  局所知覚探索(Local Perception Search, LPS)は、単純かつ訓練のない推論における復号法であり、幻覚を効果的に抑制する。 LPSはベースラインに比べて幻覚の発生率を著しく低下させ,特に騒音条件下では異常な性能を示した。
  論文  参考訳（メタデータ） (2025-06-07T09:27:26Z)
• MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation [50.73561815838431]
  MLLM(Multimodal Large Language Models)はしばしば幻覚現象を示す。 実験により,MLLMは最終出力のオブジェクトを誤って生成するが,前層の視覚的オブジェクトを認識できることがわかった。 そこで本研究では,MLLMs DeCoの動的補正復号法を提案する。この手法は,適切な先行層を適応的に選択し,最終層に知識を比例的に統合し,出力ロジットを調整する。
  論文  参考訳（メタデータ） (2024-10-15T16:57:44Z)
• Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。