論文の概要: Debiasing Multimodal Large Language Models via Noise-Aware Preference Optimization

• arxiv url: http://arxiv.org/abs/2503.17928v1
• Date: Sun, 23 Mar 2025 04:00:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:08.541304
• Title: Debiasing Multimodal Large Language Models via Noise-Aware Preference Optimization
• Title（参考訳）: 雑音を考慮した選好最適化によるマルチモーダル大言語モデルのデバイアス化
• Authors: Zefeng Zhang, Hengzhu Tang, Jiawei Sheng, Zhenyu Zhang, Yiming Ren, Zhenyang Li, Dawei Yin, Duohe Ma, Tingwen Liu,
• Abstract要約: 本稿では、優先最適化のパラダイムを用いて、モダリティバイアス問題を解決することを提案する。 具体的には、まず摂動を導入し、特定のモダリティの情報量を減らすことでデータセットを構築する。 自動構築したデータにおける避けられないノイズに対処するために、ノイズロバストな平均絶対誤差と直接選好最適化における二項交叉エントロピーを組み合わせる。
• 参考スコア（独自算出の注目度）: 31.741110625305186
• License:
• Abstract: Multimodal Large Language Models excel in various tasks, yet often struggle with modality bias, where the model tends to rely heavily on a single modality and overlook critical information in other modalities, which leads to incorrect focus and generating irrelevant responses. In this paper, we propose using the paradigm of preference optimization to solve the modality bias problem, including RLAIFVBias, a debiased preference optimization dataset, and a Noise Aware Preference Optimization algorithm. Specifically, we first construct the dataset by introducing perturbations to reduce the informational content of certain modalities, compelling the model to rely on a specific modality when generating negative responses. To address the inevitable noise in automatically constructed data, we combine the noise robust Mean Absolute Error with the Binary Cross Entropy in Direct Preference Optimization by a negative Box Cox transformation, and dynamically adjust the algorithm noise robustness based on the evaluated noise levels in the data. Extensive experiments validate our approach, demonstrating not only its effectiveness in mitigating modality bias but also its significant role in minimizing hallucinations.
• Abstract（参考訳）: マルチモーダル・大規模言語モデルは様々なタスクで優れるが、しばしばモダリティバイアスに悩まされる。そこではモデルは単一のモダリティに大きく依存し、他のモダリティにおける重要な情報を見落とし、不適切な焦点を導き、無関係な応答を生み出す。 本稿では、優先最適化のパラダイムを用いて、RLAIFVBias、デバイアスされた優先最適化データセット、ノイズアウェア優先最適化アルゴリズムなどを含むモダリティバイアス問題を解決する。 具体的には、まず摂動を導入し、特定のモダリティの情報量を減少させ、負の応答を生成する際に特定のモダリティに依存するようモデルに促す。 自動構築されたデータにおける避けられないノイズに対処するため、ノイズロバストな平均絶対誤差と、正のBox Cox変換による直接選好最適化における二項交叉エントロピーを組み合わせ、評価されたデータ中の雑音レベルに基づいてアルゴリズムの雑音ロバストネスを動的に調整する。 広範に実験を行った結果,モダリティバイアスを緩和する効果だけでなく,幻覚の最小化に重要な役割を担っていることが明らかとなった。

関連論文リスト

• Pareto Optimization with Robust Evaluation for Noisy Subset Selection [34.83487850400559]
  サブセット選択は最適化の基本的な問題であり、影響やスパース回帰といった幅広い応用がある。 欲求アルゴリズムや進化進化的POSSを含む従来のアルゴリズムは、ノイズの多い環境で苦労するか、過剰な計算資源を消費する。 本稿では,頑健な評価関数を最大化し,同時にサブセットサイズを最小化する,雑音性サブセット選択(PORE)のためのロバスト評価を用いたパレート最適化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T14:04:20Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• An Adaptive Cost-Sensitive Learning and Recursive Denoising Framework for Imbalanced SVM Classification [12.986535715303331]
  カテゴリー不均衡は、分類分野において最も人気があり重要な問題の一つである。 適応的なコスト感度と再帰に基づく頑健な学習アルゴリズムを提案する。 実験の結果,提案手法は従来の精度,G平均,リコール,F1スコアの手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T09:43:14Z)
• Optimizer's Information Criterion: Dissecting and Correcting Bias in Data-Driven Optimization [16.57676001669012]
  データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。 クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。 我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
  論文  参考訳（メタデータ） (2023-06-16T07:07:58Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Adaptive Multi-View ICA: Estimation of noise levels for optimal inference [65.94843987207445]
  Adaptive MultiView ICA (AVICA) はノイズの多いICAモデルであり、各ビューは共有された独立したソースと付加的なノイズの線形混合である。 AVICAは、その明示的なMMSE推定器により、他のICA法よりも優れたソース推定値が得られる。 実脳磁図(MEG)データでは,分解がサンプリングノイズに対する感度が低く,ノイズ分散推定が生物学的に妥当であることを示す。
  論文  参考訳（メタデータ） (2021-02-22T13:10:12Z)
• Bilevel Optimization for Differentially Private Optimization in Energy Systems [53.806512366696275]
  本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。 本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
  論文  参考訳（メタデータ） (2020-01-26T20:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。