論文の概要: ACPO: Counteracting Likelihood Displacement in Vision-Language Alignment with Asymmetric Constraints

• arxiv url: http://arxiv.org/abs/2603.22165v1
• Date: Mon, 23 Mar 2026 16:26:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.784918
• Title: ACPO: Counteracting Likelihood Displacement in Vision-Language Alignment with Asymmetric Constraints
• Title（参考訳）: ACPO:非対称制約による視覚・言語アライメントにおける擬似変位の防止
• Authors: Kaili Huang, Hongming Zhang, Rui Shen, Linjun Dai, Jiahao Wang, Hanming Deng, Lewei Lu,
• Abstract要約: 非対称制約参照最適化(ACPO)を提案する。 ACPOは動的でターゲット指向のスケーリングを好みの最適化に適用する。 本稿では,ACPOが標準DPOの選択逆劣化を効果的に逆転させることを示す。
• 参考スコア（独自算出の注目度）: 26.309376587678354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Direct Preference Optimization (DPO) has become the de facto approach for aligning Large Vision-Language Models (LVLMs), it suffers from Likelihood Displacement, where the probability of both chosen and rejected responses collapses. This optimization flaw is especially detrimental in multimodal settings: the erosion of chosen likelihoods -- a failure we term Visual Anchor Collapse -- causes models to abandon visual evidence for strong language priors, precipitating significant hallucinations. To address this, we propose Asymmetric Constrained Preference Optimization (ACPO), a modality-agnostic alignment mechanism that applies dynamic, target-oriented scaling to preference optimization. ACPO derives a complexity-aware scaling coefficient applied exclusively to the rejected reward, asymmetrically suppressing the gradient flow on the rejected term while preserving the chosen distribution as a gradient-stable reference. While fundamentally a general-purpose objective, breaking this gradient symmetry is crucial for multimodal tasks, as it mitigates the suppression of visual tokens by language priors. Experiments on InternVL models demonstrate that ACPO effectively reverses the chosen-reward degradation of standard DPO. By halting Visual Anchor Collapse, ACPO generally outperforms baselines on hallucination benchmarks (HallusionBench, MM-IFEval) and general leaderboards (MMBench, MMStar, OCRBenchV2) while driving concurrent improvements in general capabilities.
• Abstract（参考訳）: 直接選好最適化(DPO)は、LVLM(Large Vision-Language Models)の整列のためのデファクトアプローチとなっているが、選択された応答と拒否された応答の両方の確率が崩壊するいいね! この最適化の欠陥は、特にマルチモーダル環境では有害である。選択された可能性の侵食(Visual Anchor Collapseと呼ばれる失敗)は、モデルに強力な言語事前の視覚的証拠を放棄させ、重大な幻覚を引き起こす。 そこで本稿では,非対称制約付き優先度最適化(ACPO)を提案する。 ACPOは、解答にのみ適用される複雑性を考慮したスケーリング係数を導出し、解答項上の勾配流を非対称に抑制し、解答された分布を勾配安定参照として保存する。 基本的には汎用目的であるが、言語先行による視覚トークンの抑制を緩和するため、この勾配対称性を破ることはマルチモーダルタスクに不可欠である。 インターンVLモデルに対する実験により、ACPOは標準DPOの選択逆劣化を効果的に逆転させることが示された。 Visual Anchor Collapseの停止により、ACPOは幻覚ベンチマーク(HallusionBench, MM-IFEval)と一般的なリーダーボード(MMBench, MMStar, OCRBenchV2)のベースラインを上回り、一般の能力を同時に向上させる。

関連論文リスト

• Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings [7.554296968064274]
  検証リワード(RLVR)を用いた強化学習のための階層型ポリシー最適化(HAPO)を提案する。 HAPOは、障害時に教師のデモンストレーションに最適化を選択的にアンカーする、後ろ向きのメカニズムを採用している。 HAPOは,政策改善に伴う教師の信号のアニールを自然に行うことで,非バイアスのオン・ポリティクス勾配を回復する。
  論文  参考訳（メタデータ） (2026-03-11T21:33:41Z)
• Anchored Policy Optimization: Mitigating Exploration Collapse Via Support-Constrained Rectification [14.911955979675772]
  我々は,グローバルな形状マッチングからサポートカバレッジへパラダイムをシフトさせるアンコレッドポリシー最適化(APO)を提案する。 APOは精度と多様性のトレードオフを破り、Pass@1を大幅に改善します。
  論文  参考訳（メタデータ） (2026-02-05T14:41:57Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• AMaPO: Adaptive Margin-attached Preference Optimization for Language Model Alignment [25.526336903358757]
  オフライン優先最適化は、言語モデルを調整するためのRLHFのよりシンプルでより安定した代替手段を提供する。 本稿では,単純なアルゴリズムであるAdaptive Margin-attached Preference Optimization (AMaPO)を提案する。 AMaPOは、Z正規化と指数的スケーリングによって洗練され、不正なサンプルの勾配を増幅し、それらを正しいものに抑えることによって、学習の取り組みを動的に再配置する。
  論文  参考訳（メタデータ） (2025-11-12T14:51:59Z)
• Mitigating Hallucination Through Theory-Consistent Symmetric Multimodal Preference Optimization [69.05600758833471]
  マルチモーダル大言語モデル(MLLM)における幻覚を緩和するための効果的なアプローチとして、直接選好最適化(DPO)が登場している。 我々は、直接選好監督(応答対)を伴う対称選好学習を行うシンメトリ・マルチモーダル選好最適化(SymMPO)を提案する。 従来の順序的嗜好学習に加えて、SymMPOは、左右の選好ペア間の選好ギャップを定量的に調節する、選好マージン整合性損失を導入している。
  論文  参考訳（メタデータ） (2025-06-13T12:29:15Z)
• Proximalized Preference Optimization for Diverse Feedback Types: A Decomposed Perspective on DPO [19.5712961932773]
  我々は、直接選好最適化(DPO)を再考し、その損失が理論的に分解された改革を認めることを実証する。 PRO (Proximalized PReference Optimization) を導入し,多様な課金型に対応する統一手法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T10:23:22Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。