論文の概要: Modality-Balancing Preference Optimization of Large Multimodal Models by Adversarial Negative Mining

• arxiv url: http://arxiv.org/abs/2506.08022v2
• Date: Wed, 11 Jun 2025 03:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.732343
• Title: Modality-Balancing Preference Optimization of Large Multimodal Models by Adversarial Negative Mining
• Title（参考訳）: 逆負のマイニングによる大規模マルチモーダルモデルのモダリティ・バランシング選好最適化
• Authors: Chenxi Liu, Tianyi Xiong, Ruibo Chen, Yihan Wu, Junfeng Guo, Tianyi Zhou, Heng Huang,
• Abstract要約: LMMにおけるモダリティの不均衡に対処するため、新しい選好学習フレームワークMBPOを提案する。 MBPOは、強い負の反応、すなわちLLMバイアスによって誤った反応を生成することによって、より効果的なオフライン嗜好データセットを構築する。 視覚言語課題におけるLMM性能を高め、幻覚を効果的に軽減することができる。
• 参考スコア（独自算出の注目度）: 66.54211199959298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task adaptation and alignment of Large Multimodal Models (LMMs) have been significantly advanced by instruction tuning and further strengthened by recent preference optimization. Yet, most LMMs still suffer from severe modality imbalance during reasoning, i.e., outweighing language prior biases over visual inputs, which bottlenecks their generalization to downstream tasks and causes hallucinations. However, existing preference optimization approaches for LMMs do not focus on restraining the internal biases of their Large Language Model (LLM) backbones when curating the training data. Moreover, they heavily rely on offline data and lack the capacity to explore diverse responses adaptive to dynamic distributional shifts during training. Meanwhile, Group Relative Policy Optimization (GRPO), a recent method using online-generated data and verified rewards to improve reasoning capabilities, remains largely underexplored in LMM alignment. In this paper, we propose a novel preference learning framework, Modality-Balancing Preference Optimization (MBPO), to address the modality imbalance in LMMs. MBPO constructs a more effective offline preference dataset by generating hard negatives, i.e., rejected responses misled by LLM biases due to limited usage of visual information, through adversarial perturbation of input images. Moreover, MBPO leverages the easy-to-verify nature of close-ended tasks to generate online responses with verified rewards. GRPO is then employed to train the model with offline-online hybrid data. Extensive experiments demonstrate that MBPO can enhance LMM performance on challenging vision-language tasks and effectively reduce hallucinations.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)のタスク適応とアライメントは,命令チューニングによって大幅に向上し,近年の選好最適化によってさらに強化されている。 しかし、ほとんどのLMMは、推論中に深刻なモダリティの不均衡に悩まされ、すなわち、視覚入力よりも言語優先の偏りを克服し、下流のタスクへの一般化をボトルネックにし、幻覚を引き起こす。 しかし、LMMに対する既存の選好最適化アプローチは、トレーニングデータをキュレートする際のLarge Language Model (LLM)バックボーンの内部バイアスを抑えることに重点を置いていない。 さらに、オフラインデータに大きく依存しており、トレーニング中に動的分散シフトに適応する多様な応答を探索する能力が欠如している。 グループ相対政策最適化(GRPO: Group Relative Policy Optimization)は、オンライン生成データを用いた最近の手法であり、推論能力を改善するための検証された報酬である。 本稿では,LMMにおけるモダリティの不均衡に対応するため,新しい選好学習フレームワークMBPOを提案する。 MBPOは、強い負の反応、すなわち視覚情報の限られた使用によるLCMバイアスによる拒絶応答を、入力画像の逆摂動を通じて生成することで、より効果的なオフライン嗜好データセットを構築する。 さらに、MBPOは、クローズドなタスクの検証が容易な性質を活用して、検証された報酬でオンライン応答を生成する。 GRPOはオフラインとオフラインのハイブリッドデータでモデルをトレーニングするために使用される。 広汎な実験により,MBPOは視覚言語課題におけるLMM性能を向上し,幻覚を効果的に低減できることが示された。

関連論文リスト

• Attention Pruning: Automated Fairness Repair of Language Models via Surrogate Simulated Annealing [14.114970711442512]
  本稿では,大規模言語モデル (LLM) におけるアテンションヘッドに対するアテンション・プルーニング(Attention Pruning) を提案する。 我々の実験は、注意喚起によって最大40%の性別バイアスが減少し、最先端のバイアス緩和戦略よりも優れることを示した。
  論文  参考訳（メタデータ） (2025-03-20T03:02:32Z)
• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game [31.66896160733569]
  そこで本稿では,より効率的な人選好最適化を目的としたAPO(Adversarial Preference Optimization)フレームワークを提案する。 提案手法は,LLMの有効性と無害性の観点から,既存のアライメントベースラインをさらに強化する。
  論文  参考訳（メタデータ） (2023-11-14T10:10:31Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。