論文の概要: Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2605.04874v1
- Date: Wed, 06 May 2026 13:08:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.82486
- Title: Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models
- Title（参考訳）: マルチモーダル大言語モデルに対する不確実性を考慮した探索的直接選好最適化
- Abstract要約: マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。
まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。
次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
- 参考スコア（独自算出の注目度）: 53.15468578562038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Direct Preference Optimization (DPO) has proven to be an effective solution for mitigating hallucination in Multimodal Large Language Models (MLLMs) by learning from preference pairs. One of its key challenges lies in how to transfer the sequence-level preference into fine-grained supervision on visual fidelity. To safeguard vision-related tokens that are prone to hallucination, existing methods typically allocate training emphasis according to the model's self-assessed visual sensitivity signals. However, such sensitivity, estimated by a model still under training, introduces self-referential bias: reinforcing already well-learned visual cues while neglecting hard-to-perceive but critical details, thereby limiting deeper alignment. In this work, we propose an Uncertainty-aware Exploratory Direct Preference Optimization (UE-DPO) method for MLLMs, which enables the model to uncover its cognitive deficiencies and actively explore for self-correction, guided by token-level epistemic uncertainty. Specifically, we first quantify the uncertainty from the model's failure to ground token predictions in the given image. Then, based on an uncertainty-aware exploration intensity, we encourage more learning pressure on visually deficient tokens in preferred samples, and alleviate the over-penalization of beneficial knowledge in dispreferred samples. Further, we provide a theoretical justification for our method, and extensive experiments demonstrate its effectiveness and robustness.
- Abstract（参考訳）: 直接選好最適化(DPO)は、選好ペアから学習することで、マルチモーダル大言語モデル(MLLM)における幻覚の緩和に有効な解であることが証明されている。
重要な課題の1つは、シーケンスレベルの嗜好を視覚的忠実性に関するきめ細かい監督にどのように転送するかである。
幻覚に苦しむ視覚関連トークンを保護するために、既存の方法では、モデルの自己評価された視覚感度信号に基づいてトレーニングの重点を割り当てる。
しかし、訓練中のモデルによって推定されるそのような感度は、自己参照バイアスをもたらす。
本研究では,MLLMに対する不確実性を考慮した探索的直接選好最適化(UE-DPO)手法を提案する。
具体的には、まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。
そして,不確実性を認識した探索強度に基づいて,好ましくは視覚的に不足したトークンに対する学習圧力を増大させ,不適切なサンプルにおける有益な知識の過剰な支払いを緩和する。
さらに,本手法を理論的に正当化し,その有効性と堅牢性を示す広範な実験を行った。
関連論文リスト
- Clearer Sight, Fewer Lies: Oriented Pickup Preference Optimization for Multimodal Hallucination Mitigation [41.3823869123186]
マルチモーダル大言語モデル (MLLM) は, 視覚的証拠を十分に調整できないため, 幻覚の傾向が強い。
視覚的証拠の強度よりも好みを学習するエビデンスを意識したアライメントアライメント目標である、オリエント・ピック・プライス・オプティマイズ(textttOPPO)を提案する。
論文 参考訳（メタデータ） (2026-06-29T05:33:22Z) - Evidence-based Decision Modeling for Synthetic Face Detection with Uncertainty-driven Active Learning [37.21432992418335]
EMSFD(Evidence-based decision Modeling for Synthetic Face Detection with uncertainty-driven active learning)を提案する。
提案手法は,既存のSOTAベースラインに比べて15%精度が向上する。
論文 参考訳（メタデータ） (2026-05-11T03:33:22Z) - Uncertainty-aware Generative Learning Path Recommendation with Cognition-Adaptive Diffusion [2.2610361667909835]
U-GLAD(認識適応拡散を用いた不確実性認識学習経路勧告)を提案する。
表現バイアスに対処するため、このフレームワークは認識状態を確率分布としてモデル化し、ガウスLSTMを通して学習者の根底にある真の状態をキャプチャする。
従来の差別的ランキング手法とは異なり、我々のモデルは生成的拡散モデルを用いて次の最適概念の潜在表現を予測する。
論文 参考訳（メタデータ） (2026-04-16T04:39:53Z) - Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。
ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。
我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
論文 参考訳（メタデータ） (2026-03-24T07:54:19Z) - Explicit Uncertainty Modeling for Active CLIP Adaptation with Dual Prompt Tuning [51.99383151474742]
デュアルプロンプトチューニングに基づくアクティブCLIP適応のためのロバストな不確実性モデリングフレームワークを提案する。
提案手法は,同一のアノテーション予算の下で,既存のアクティブラーニング手法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-02-04T09:01:55Z) - Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。
広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。
本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
論文 参考訳（メタデータ） (2025-04-10T07:50:03Z) - Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。
我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。
筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
論文 参考訳（メタデータ） (2024-09-17T14:05:58Z) - Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。
評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文 参考訳（メタデータ） (2024-08-20T09:42:26Z) - Deep Bayesian Active Learning for Preference Modeling in Large Language Models [84.817400962262]
本稿では,BAL-PM(Bayesian Active Learner for Preference Modeling)を提案する。
BAL-PMは2つの人気のある人間の嗜好データセットにおいて、好みラベルを33%から68%少なくし、以前のベイズ買収ポリシーを超えている。
我々の実験では、BAL-PMは2つの人気のある人選好データセットにおいて33%から68%の選好ラベルを必要としており、ベイズ買収ポリシーを上回ります。
論文 参考訳（メタデータ） (2024-06-14T13:32:43Z) - Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。
本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
論文 参考訳（メタデータ） (2024-03-08T12:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。