論文の概要: When Scores Conflict with Preferences: Pre-Alignment Diagnosis and Adaptive Correction of Constraint Drift in DPO

• arxiv url: http://arxiv.org/abs/2611.07375v1
• Date: Thu, 05 Nov 2026 03:20:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.500255
• Title: When Scores Conflict with Preferences: Pre-Alignment Diagnosis and Adaptive Correction of Constraint Drift in DPO
• Title（参考訳）: DPOにおける調整前診断と制約ドリフトの適応補正
• Abstract要約: 直接選好最適化(DPO)は、ペアワイズな選好とポイントワイズな基準が共存する設定において、ますます使われている。 我々は、調律ではなく、$*_mathrmeq$から設定した強度で重み付けする競合対応DPOを提案する。 主比較の4つの領域全てにおいて、CoDPOはバニラDPOの嗜好学習を保ちながらドリフトを減少させる。
• 参考スコア（独自算出の注目度）: 10.233264975230348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimization (DPO) is increasingly used in settings where pairwise preferences coexist with pointwise criteria such as response length, answer correctness, or safety scores. When the two disagree, standard DPO treats pairs whose preferred output scores worse on the pointwise criterion (conflict pairs) in the same way as the remaining (matching) pairs. We characterize a systematic failure mode, constraint drift: for sufficiently small updates, conflict pairs tend to increase constraint cost while matching pairs tend to repair it, and the net change depends on their balance. This balance yields a closed-form pre-alignment diagnostic, $ρ^{*}_{\mathrm{eq}}$, computable from dataset statistics, that indicates whether a dataset is self-correcting or requires intervention. Building on this diagnostic, we propose Conflict-aware DPO (CoDPO), which down-weights conflict pairs with a strength set from $ρ^{*}_{\mathrm{eq}}$ rather than tuned, and adds an adaptive margin shift that addresses residual drift during training. Empirically, drift grows monotonically with conflict exposure on the conflict-dominated domains, and the intervention decision given by $ρ^{*}_{\mathrm{eq}}$ matches the observed drift on every domain, including one that it identifies as self-correcting. On all four domains of the main comparison, CoDPO reduces drift while largely preserving the preference learning of vanilla DPO. Compared with hard filtering and recent constrained and multi-objective baselines, CoDPO also achieves a more favorable drift-preference trade-off.
• Abstract（参考訳）: 直接選好最適化(DPO)は、応答長、答えの正当性、安全性スコアなどのポイントワイズ基準とペアワイズ選好が共存する設定において、ますます使われるようになっている。 2つの意見が一致しない場合、標準DPOは、残りの(マッチング)ペアと同じ方法で、ポイントワイズ基準(衝突ペア)で好ましい出力スコアが悪くなるペアを扱います。 十分に小さな更新では、競合ペアは制約コストを増加させる傾向にあり、ペアがペアを修復する傾向があり、ネット変更はそのバランスに依存する。 このバランスは、データセットが自己修正されているか介入を必要とするかを示すデータセット統計から計算可能な、クローズドフォームの事前調整診断である$ρ^{*}_{\mathrm{eq}}$を生成する。 本稿では,この診断を基礎として,制約付きではなく,$ρ^{*}_{\mathrm{eq}}$から設定した強度で重み付けする衝突認識DPO(CoDPO)を提案し,トレーニング中に残留ドリフトに対処する適応的マージンシフトを付加する。 経験的に、ドリフトは紛争に支配された領域の紛争露光とともに単調に成長し、$ρ^{*}_{\mathrm{eq}}$で与えられる介入決定は、それが自己修正であると同定する領域を含むすべての領域の観測ドリフトと一致する。 主比較の4つの領域全てにおいて、CoDPOはバニラDPOの嗜好学習を保ちながらドリフトを減少させる。 ハードフィルタや最近の制約付き多目的ベースラインと比較すると、CoDPOはより好ましいドリフト参照トレードオフも達成している。

関連論文リスト

• COPC: Coupled Off-Policy Correction for Asynchronous LLM Reinforcement Learning [27.653935287434773]
  非同期RLは、最適化からロールアウト生成を分離することで、大規模な言語モデルの後処理を高速化するが、古い軌道で訓練する。 既存の手法は主にアクター目標における重要度制御を通じてトークンレベルのポリシーミスマッチを補正する。 優位な推定法は、行動と政治の継続によるミスマッチも受け継いでおり、これは不便さを重んじるものである。 トークンレベル比マスキングとTD残差の両面クリッピング比重み付けを組み合わせたアクタ批判手法である Coupled Off-Policy Correction (COPC) を導入する。
  論文  参考訳（メタデータ） (2026-10-07T07:43:49Z)
• PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization [40.91256615677526]
  本稿では,好みを安定的に最適化するための後ラベル補正DPOを提案する。 主要な考え方は、適切な修正措置を取るために、政策基準マージンをオンライン証拠として使うことである。 PLC-DPOは、DPOに対する最良の平均勝利率を得る(次ベット法では60.5対55.5)
  論文  参考訳（メタデータ） (2026-08-31T11:11:33Z)
• Beyond Logit Adjustment: A Residual Decomposition Framework for Long-Tailed Reranking [3.165340675929986]
  縮小安定化されたクラスワイド項と、ショートリスト上の競合機能によって駆動される線形ペアワイド項を結合した軽量なポストホックリランカを開発する。 画像分類、種別認識、シーン認識、希少な疾患の診断を含む5つのベンチマークの実験では、分解によってペアワイズ補正がどこに役立ち、クラスワイズ補正だけで十分かを説明できる。
  論文  参考訳（メタデータ） (2026-04-02T00:34:12Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
  直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。 DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。 この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。 DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
  論文  参考訳（メタデータ） (2026-02-12T12:55:51Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。