論文の概要: Disentangling Optimization Scale from Preference Scale in DPO
- arxiv url: http://arxiv.org/abs/2608.27032v1
- Date: Thu, 27 Aug 2026 12:21:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.395956
- Title: Disentangling Optimization Scale from Preference Scale in DPO
- Title（参考訳）: DPOにおける選好尺度からのディエンタングリング最適化尺度
- Abstract要約: 提案手法は,効率の良い逆選好ノイズ尺度を制御し,最適化のダイナミクスを同時に再スケールする。
本稿では,DPOに等価なargminを$0$で提供するとともに,逆選好ノイズ尺度および学習速度効果を明示的かつ独立的に調整可能とした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Direct Preference Optimization (DPO) is a widely used objective for aligning language models from preference data, with the coefficient $β$ commonly interpreted as controlling the KL constraint to a reference policy. We show that $β$ entangles two distinct roles: it governs the effective inverse preference-noise scale and simultaneously rescales the optimization dynamics, coupling this scale with the effective step size. As a consequence, at a fixed learning rate the achieved policy deviation is non-monotone in $β$: it vanishes in a dead zone at small $β$, reaches a peak at an intermediate value, and decreases again for larger $β$. Moreover, standard DPO loss values are not comparable across $β$: runs with nearly identical loss curves can differ several-fold in KL divergence from the reference model. This entanglement obscures the role of $β$, increases sensitivity to hyperparameter choices, and complicates learning-rate scheduling. We propose a centered-softplus reformulation that is argmin-equivalent to DPO for $β>0$, while making the inverse preference-noise-scale and learning-rate effects explicit and independently tunable. The normalized centered-softplus objective also admits a continuous $β\to0$ endpoint that reduces to a linear preference-margin objective.
- Abstract（参考訳）: 直接選好最適化(DPO)は、優先データから言語モデルを整列させる目的として広く用いられており、係数$β$は参照ポリシーに対するKL制約を制御するものとして一般的に解釈される。
実効的な逆選好ノイズ尺度を支配し、同時に最適化のダイナミクスを再スケールし、このスケールと実効的なステップサイズを結合する。
その結果、一定の学習率で、達成された政策偏差は、β$の非単調である:小さな$β$でデッドゾーンで消滅し、中間値でピークに達し、より大きな$β$で再び減少する。
さらに、標準的なDPO損失値は$β$で比較することはできない: ほぼ同一の損失曲線を持つ実行は、参照モデルとKLの発散において、数倍の違いがある。
この絡み合いは、$β$の役割を曖昧にし、ハイパーパラメータの選択に対する感度を高め、学習速度のスケジューリングを複雑にする。
本稿では,DPOと等価なアグミンを$β>0$で表し,逆の選好ノイズ尺度と学習速度効果を明示的かつ独立的に調整可能とした。
正規化された中心-ソフトプラスの目的はまた、連続的な$β\to0$エンドポイントを認めており、線形選好-マージンの目的に還元される。
関連論文リスト
- $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。
我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-30T17:41:16Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - $ξ$-DPO: Direct Preference Optimization via Ratio Reward Margin [16.49252561546099]
我々は、SimPOにおけるマージンの定式化は、異なる報酬ギャップ構造を持つデータセット間で容易に解釈できないと論じる。
提案する$-DPO: 比報酬マージンによる直接選好最適化。
論文 参考訳（メタデータ） (2026-05-09T03:48:16Z) - Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。
DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。
この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。
DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
論文 参考訳（メタデータ） (2026-02-12T12:55:51Z) - The Viscosity of Logic: Phase Transitions and Hysteresis in DPO Alignment [0.0]
直接選好最適化(DPO)はしばしば、アライメント圧力($$$で制御される)が徐々に「良い」振る舞いをもたらすように調整される。
コントロールパラメータとして$を扱い、固定DPOレシピの下で7Bのオープンウェイトファミリを密に掃除する。
論文 参考訳（メタデータ） (2026-01-24T02:19:20Z) - DRO-REBEL: Distributionally Robust Relative-Reward Regression for Fast and Efficient LLM Alignment [0.0]
人的フィードバックによる強化学習(RLHF)は,大規模言語モデル(LLM)と人間の意図の整合に欠かせないものとなっている。
DRO-REBELは、タイプ=$p$Wasserstein, KL, $chi2$ ambiguity集合を持つ堅牢なREBEL更新の集合である。
Fenchelの双対性を利用することで、各更新は単純な相対回帰レグレッションに還元され、スケーラビリティが保たれ、PPOスタイルのクリッピングや補助値ネットワークが回避される。
論文 参考訳（メタデータ） (2025-09-23T14:49:48Z) - Distortion of AI Alignment: Does Preference Optimization Optimize for Preferences? [20.004349891563706]
事前学習後、大きな言語モデルはペア比較に基づいて人間の好みに適合する。
本稿では,最適達成可能な平均効用量と学習ポリシーの平均効用量との最悪のケース比について,アライメント手法の歪みを紹介する。
論文 参考訳（メタデータ） (2025-05-29T17:59:20Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - RePO: Understanding Preference Learning Through ReLU-Based Optimization [66.098833436503]
本稿では,ReLUに基づくPreference Optimization (RePO)を提案する。
RePOは、ロジスティック重み付けが二項しきい値に崩壊するSimPOの制限ケース(「infty$」の略)として特徴付けられる。
AlpacaEval 2 と Arena-Hard の実証結果は、RePO が複数のベースモデルで DPO と SimPO を上回っていることを示している。
論文 参考訳（メタデータ） (2025-03-10T15:11:07Z) - KL Penalty Control via Perturbation for Direct Preference Optimization [55.24971559149686]
我々は、KLのペナルティ強度を各選好ペアに対して適応的に制御できる$varepsilon$-Direct Preference Optimization (varepsilon$-DPO)を提案する。
KLペナルティ緩和のための$varepsilon$-DPOの簡単な基準は、既存の直接アライメントアルゴリズムと比較して、DPOを大幅に改善することを示す。
論文 参考訳（メタデータ） (2025-02-18T06:44:10Z) - AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
$alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。
ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。
さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
論文 参考訳（メタデータ） (2024-10-14T04:29:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。