論文の概要: Mitigating Hallucinations in Large Vision-Language Models via Entity-Centric Multimodal Preference Optimization

• arxiv url: http://arxiv.org/abs/2506.04039v1
• Date: Wed, 04 Jun 2025 15:03:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.400999
• Title: Mitigating Hallucinations in Large Vision-Language Models via Entity-Centric Multimodal Preference Optimization
• Title（参考訳）: Entity-Centric Multimodal Preference Optimizationによる大規模視覚言語モデルにおける幻覚の緩和
• Authors: Jiulong Wu, Zhengliang Shi, Shuaiqiang Wang, Jizhou Huang, Dawei Yin, Lingyong Yan, Min Cao, Min Zhang,
• Abstract要約: 既存の嗜好アライメント手法は、画像-テキストのモダリティアライメントを無視しながら、人間の嗜好とモデル応答の整合性に重点を置いている。 改良されたモダリティアライメントを実現するエンティティ中心型マルチモーダル参照最適化(EMPO)を提案する。 EMPOは、Object-HalBenchで85.9%、MM-HalBenchで49.8%の幻覚率を減少させる。
• 参考スコア（独自算出の注目度）: 40.68121267969432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Visual Language Models (LVLMs) have demonstrated impressive capabilities across multiple tasks. However, their trustworthiness is often challenged by hallucinations, which can be attributed to the modality misalignment and the inherent hallucinations of their underlying Large Language Models (LLMs) backbone. Existing preference alignment methods focus on aligning model responses with human preferences while neglecting image-text modality alignment, resulting in over-reliance on LLMs and hallucinations. In this paper, we propose Entity-centric Multimodal Preference Optimization (EMPO), which achieves enhanced modality alignment than existing human preference alignment methods. Besides, to overcome the scarcity of high-quality multimodal preference data, we utilize open-source instruction datasets to automatically construct high-quality preference data across three aspects: image, instruction, and response. Experiments on two human preference datasets and five multimodal hallucination benchmarks demonstrate the effectiveness of EMPO, e.g., reducing hallucination rates by 85.9% on Object-HalBench and 49.8% on MM-HalBench.
• Abstract（参考訳）: 大規模ビジュアル言語モデル(LVLM)は、複数のタスクにまたがる印象的な機能を示している。 しかしながら、彼らの信頼感は、モダリティのミスアライメントと、その基盤となるLarge Language Models(LLM)バックボーンの固有の幻覚に起因して、幻覚によってしばしば挑戦される。 既存の嗜好アライメント手法は、画像テキストのモダリティアライメントを無視しながら、人間の嗜好とモデル応答の整合性に重点を置いており、LLMや幻覚への過度な依存をもたらす。 本稿では,従来のヒトの嗜好アライメント手法よりも高調波アライメントを実現するEntity-centric Multimodal Preference Optimization (EMPO)を提案する。 さらに、高品質なマルチモーダル嗜好データの不足を克服するために、オープンソース命令データセットを使用して、画像、命令、応答の3つの側面で高品質な嗜好データを自動的に構築する。 2つのヒトの嗜好データセットと5つのマルチモーダル幻覚ベンチマークの実験では、EMPO、eg、幻覚率85.9%、MM-HalBench49.8%が有効であることが示されている。

関連論文リスト

• Zooming from Context to Cue: Hierarchical Preference Optimization for Multi-Image MLLMs [74.74767980885758]
  マルチレベル優先最適化フレームワークであるContext-to-Cue Direct Preference Optimization (CcDPO)を提案する。 CcDPOは、シーケンシャルなコンテキストからローカルな詳細まで、視覚的なヒントをズームすることで、マルチイメージ設定でのイメージ単位の知覚を強化する。 実験により、CcDPOは幻覚を著しく減少させ、一貫した性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-05-28T14:24:02Z)
• CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs [107.21334626890713]
  MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。 本稿では,これらの制約に対処するクロスモーダル階層型直接選好最適化(CHiP)を提案する。 定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。
  論文  参考訳（メタデータ） (2025-01-28T02:05:38Z)
• Multimodal Preference Data Synthetic Alignment with Reward Model [23.978820500281213]
  本稿では,DPOトレーニングによる効果的なマルチモーダルアライメントのための人選好のプロキシとして,報酬モデルを用いて合成データを生成する新しいフレームワークを提案する。 実験結果から、生成モデルや報酬モデルのような選択された合成データの統合は、人手による注釈付きデータへの依存を効果的に軽減できることが示された。
  論文  参考訳（メタデータ） (2024-12-23T09:29:40Z)
• A Topic-level Self-Correctional Approach to Mitigate Hallucinations in MLLMs [34.71750379630014]
  トピックレベルの幻覚を緩和するために,モデル自体をガイドする自己修正的アプローチであるトピックレベルの優先上書き(TPO)を導入する。 以上の結果から,TPOは信頼性の最先端性を達成し,対象幻覚の92%,全体幻覚の38%を著しく低減した。
  論文  参考訳（メタデータ） (2024-11-26T09:42:07Z)
• Mitigating Hallucination in Multimodal Large Language Model via Hallucination-targeted Direct Preference Optimization [26.263592737768214]
  MLLM(Multimodal Large Language Models)は幻覚として知られており、実用性に制限がある。 MLLMにおける幻覚を低減するために,Halucination-targeted Direct Preference Optimization (HDPO)を導入する。
  論文  参考訳（メタデータ） (2024-11-15T18:56:01Z)
• MIA-DPO: Multi-Image Augmented Direct Preference Optimization For Large Vision-Language Models [85.30735602813093]
  Multi-Image Augmented Direct Preference Optimization (MIA-DPO)は、マルチイメージ入力を効果的に処理する視覚的嗜好アライメントアプローチである。 MIA-DPOは、グリッドコラージュやピクチャ・イン・ピクチャ形式で配置された無関係な画像で単一の画像データを拡張することにより、多様なマルチイメージトレーニングデータの不足を軽減する。
  論文  参考訳（メタデータ） (2024-10-23T07:56:48Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• Aligning Large Multimodal Models with Factually Augmented RLHF [176.54751941088819]
  大規模マルチモーダルモデル(LMM)はモダリティにまたがって構築され、2つのモダリティ間のミスアライメントは「ハロシン化」をもたらす。 テキスト領域から視覚言語アライメントのタスクまで,RLHF(Reinforcement Learning from Human Feedback)を適応させる。 本稿では、報酬モデルに付加的な事実情報を追加するFactually Augmented RLHFという新しいアライメントアルゴリズムを提案する。 提案手法は,テキストのみのGPT-4の性能レベルが94%であるLLaVA-Benchデータセットにおいて,顕著な改善を実現している。
  論文  参考訳（メタデータ） (2023-09-25T20:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。