論文の概要: Modality-Fair Preference Optimization for Trustworthy MLLM Alignment

• arxiv url: http://arxiv.org/abs/2410.15334v2
• Date: Fri, 06 Jun 2025 02:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:42.690496
• Title: Modality-Fair Preference Optimization for Trustworthy MLLM Alignment
• Title（参考訳）: 信頼に値するMLLMアライメントのモーダリティ-フェール選好最適化
• Authors: Songtao Jiang, Yan Zhang, Ruizhe Chen, Tianxiang Hu, Yeying Jin, Qinglin He, Yang Feng, Jian Wu, Zuozhu Liu,
• Abstract要約: MLLM(Multimodal large language model)は、様々なタスクにおいて顕著な成功を収めている。 しかし、視覚的エンコーダとテキスト的エンコーダの別個のトレーニングは、しばしばモダリティの誤った調整をもたらす。 これらの不正確さは、実世界の応用におけるMLLMの信頼性を著しく損なう。
• 参考スコア（独自算出の注目度）: 22.093944381988496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) have achieved remarkable success across various tasks. However, separate training of visual and textual encoders often results in a misalignment of the modality. Such misalignment may lead models to generate content that is absent from the input image, a phenomenon referred to as hallucination. These inaccuracies severely undermine the trustworthiness of MLLMs in real-world applications. Despite attempts to optimize text preferences to mitigate this issue, our initial investigation indicates that the trustworthiness of MLLMs remains inadequate. Specifically, these models tend to provide preferred answers even when the input image is heavily distorted. Analysis of visual token attention also indicates that the model focuses primarily on the surrounding context rather than the key object referenced in the question. These findings highlight a misalignment between the modalities, where answers inadequately leverage input images. Motivated by our findings, we propose Modality-Fair Preference Optimization (MFPO), which comprises three components: the construction of a multimodal preference dataset in which dispreferred images differ from originals solely in key regions; an image reward loss function encouraging the model to generate answers better aligned with the input images; and an easy-to-hard iterative alignment strategy to stabilize joint modality training. Extensive experiments on three trustworthiness benchmarks demonstrate that MFPO significantly enhances the trustworthiness of MLLMs. In particular, it enables the 7B models to attain trustworthiness levels on par with, or even surpass, those of the 13B, 34B, and larger models.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、様々なタスクにおいて顕著な成功を収めている。 しかし、視覚的エンコーダとテキスト的エンコーダの別個のトレーニングは、しばしばモダリティの誤った調整をもたらす。 このようなミスアライメントは、幻覚と呼ばれる現象である入力画像から欠落したコンテンツを生成するモデルを引き起こす可能性がある。 これらの不正確さは、実世界の応用におけるMLLMの信頼性を著しく損なう。 テキストの好みを最適化してこの問題を軽減する試みにもかかわらず、最初の調査ではMLLMの信頼性は依然として不十分であることが示唆された。 具体的には、入力画像が歪んだ場合でも、これらのモデルは好ましい回答を提供する傾向にある。 視覚的トークンアテンションの分析は、このモデルが主に問題に言及されているキーオブジェクトではなく、周囲のコンテキストに焦点を当てていることを示している。 これらの結果は,回答が不十分な入力画像を利用するモード間の不一致を浮き彫りにしている。 本研究は,提案手法を用いて,非推奨画像をキー領域のみに限定して生成するマルチモーダル選好データセットの構築,入力画像とよりよく一致した回答を生成するための画像報酬損失関数,関節モダリティトレーニングを安定させる簡易かつハードな反復的アライメント戦略の3つの要素からなるモダリティ・フェア選好最適化(MFPO)を提案する。 3つの信頼度ベンチマークにおいて、MFPOはMLLMの信頼性を著しく向上させることを示した。 特に、7Bモデルは、13B、34B、および大型モデルと同等の信頼性レベルを達成できる。

関連論文リスト

• AdaViP: Aligning Multi-modal LLMs via Adaptive Vision-enhanced Preference Optimization [26.03204301595711]
  本稿では,2つの重要なイノベーションを通じて制限に対処する適応型視覚強調最適化(AdaViP)を提案する。 視覚に基づく選好ペア構築は、複数の視覚基盤モデルを統合し、画像から重要な視覚要素を戦略的に除去する。 AdaViP-7Bは、Object HalBench上でそれぞれ応答レベルと言及レベルの幻覚を93.7%、96.4%減少させる。
  論文  参考訳（メタデータ） (2025-04-22T06:19:38Z)
• From Captions to Rewards (CAREVL): Leveraging Large Language Model Experts for Enhanced Reward Modeling in Large Vision-Language Models [58.16075709485292]
  CAREVLは、高信頼データと低信頼データの両方を確実に利用することにより、嗜好報酬モデリングの新しい手法である。 CAREVL は VL-RewardBench と MLLM-as-a-Judge ベンチマークで従来の蒸留法よりも性能が向上した。
  論文  参考訳（メタデータ） (2025-03-08T16:13:18Z)
• Re-Align: Aligning Vision Language Models via Retrieval-Augmented Direct Preference Optimization [19.37373012848517]
  大規模視覚言語モデル(VLM)は、特に横断的不整合の形で、重要な幻覚を引き起こす傾向がある。 本稿では、画像検索を利用した新しいアライメントフレームワークRe-Alignを紹介する。 我々はまた、微調整中に視覚的嗜好を付加する、標準の直接選好最適化の拡張であるrDPOも導入する。
  論文  参考訳（メタデータ） (2025-02-18T18:59:57Z)
• CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs [107.21334626890713]
  MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。 本稿では,これらの制約に対処するクロスモーダル階層型直接選好最適化(CHiP)を提案する。 定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。
  論文  参考訳（メタデータ） (2025-01-28T02:05:38Z)
• Multimodal Preference Data Synthetic Alignment with Reward Model [23.978820500281213]
  本稿では,DPOトレーニングによる効果的なマルチモーダルアライメントのための人選好のプロキシとして,報酬モデルを用いて合成データを生成する新しいフレームワークを提案する。 実験結果から、生成モデルや報酬モデルのような選択された合成データの統合は、人手による注釈付きデータへの依存を効果的に軽減できることが示された。
  論文  参考訳（メタデータ） (2024-12-23T09:29:40Z)
• Scalable Ranked Preference Optimization for Text-to-Image Generation [76.16285931871948]
  DPOトレーニングのための大規模および完全合成データセット収集のためのスケーラブルなアプローチについて検討する。 ペア画像の嗜好は、事前訓練された報酬関数を用いて生成され、アノテーションプロセスに人間を巻き込む必要がなくなる。 ランキングフィードバックを用いてDPOに基づく手法を強化するためにRandonDPOを導入する。
  論文  参考訳（メタデータ） (2024-10-23T16:42:56Z)
• MIA-DPO: Multi-Image Augmented Direct Preference Optimization For Large Vision-Language Models [85.30735602813093]
  Multi-Image Augmented Direct Preference Optimization (MIA-DPO)は、マルチイメージ入力を効果的に処理する視覚的嗜好アライメントアプローチである。 MIA-DPOは、グリッドコラージュやピクチャ・イン・ピクチャ形式で配置された無関係な画像で単一の画像データを拡張することにより、多様なマルチイメージトレーニングデータの不足を軽減する。
  論文  参考訳（メタデータ） (2024-10-23T07:56:48Z)
• CLIP-DPO: Vision-Language Models as a Source of Preference for Fixing Hallucinations in LVLMs [37.98496239547762]
  大きな視覚言語モデルは、オブジェクトやそれらの特性や関係といった詳細を幻覚させる傾向があり、実際のデプロイメントを制限します。 本稿では,LVLMのDPOに基づく最適化のために,CLIP(CLIP-DPO)埋め込みモデルを用いた優先最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T21:56:20Z)
• mDPO: Conditional Preference Optimization for Multimodal Large Language Models [52.607764280030196]
  直接選好最適化(DPO)は,大規模言語モデル(LLM)のアライメントに有効な手法であることが示されている。 最近の研究は、DPOをマルチモーダルシナリオに適用しようと試みているが、一貫した改善を達成することは困難である。 画像の嗜好を最適化することで、言語のみの嗜好の過度な優先順位付けを防止するマルチモーダルDPOであるmDPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:58Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• Aligning Large Multimodal Models with Factually Augmented RLHF [176.54751941088819]
  大規模マルチモーダルモデル(LMM)はモダリティにまたがって構築され、2つのモダリティ間のミスアライメントは「ハロシン化」をもたらす。 テキスト領域から視覚言語アライメントのタスクまで,RLHF(Reinforcement Learning from Human Feedback)を適応させる。 本稿では、報酬モデルに付加的な事実情報を追加するFactually Augmented RLHFという新しいアライメントアルゴリズムを提案する。 提案手法は,テキストのみのGPT-4の性能レベルが94%であるLLaVA-Benchデータセットにおいて,顕著な改善を実現している。
  論文  参考訳（メタデータ） (2023-09-25T20:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。