論文の概要: Uncertainty-Normalized Margins for Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2609.38647v1
• Date: Tue, 29 Sep 2026 23:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.8335
• Title: Uncertainty-Normalized Margins for Direct Preference Optimization
• Title（参考訳）: 直接選好最適化のための不確かさNormalized Margins
• Abstract要約: 直接選好最適化(DPO)は、選好強度や即時依存の不確かさを明示的に考慮せずにバイナリ選好をモデル化する。 本稿では, 強度依存的マージンと学習的即効性尺度を組み合わせた不確実性正規化マージンDPOを提案する。 ULNM-DPO-WRは各応答の暗黙の報酬をその長さで正規化し、一致したDPOに対してタイ調整された勝利率を達成することを示す。
• 参考スコア（独自算出の注目度）: 5.844092169914025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct preference optimization (DPO) models binary preferences through a Bradley-Terry model with a common noise scale, without explicitly accounting for preference strength or prompt-dependent uncertainty from human feedback. We introduce uncertainty-normalized margin DPO (UNM-DPO), which combines strength-dependent margins with a learned prompt scale. Motivated by a heteroskedastic Bradley-Terry model, we develop two training objectives. Both compare the implicit rewards of preferred and rejected responses, derived from response log-probability ratios to a reference policy. Advantage-only (AO) divides this reward difference by the prompt scale before subtracting the margin; whole-residual (WR) subtracts the margin before dividing by the scale. For the WR comparison model, we establish a necessary and sufficient condition under which known margins make the prompt scale identifiable. We introduce a practical procedure for learning the scale. Building on WR, we introduce ULNM-DPO-WR, which normalizes each response's implicit reward by its length. We evaluate our methods against DPO and related baselines on HelpSteer2 and HelpSteer3, using the Skywork reward model as a judge. With Llama-3.1-8B-Instruct, ULNM-DPO-WR achieves tie-adjusted win rates against matched DPO of 68.00% and 65.31% on evaluation panels, with higher mean rewards and shorter responses on average. On AlpacaEval with a GPT-4.1 judge and GPT-4-Turbo reference answers, the same 8B policy achieves a length-controlled win rate of 21.62%, compared with 16.39% for DPO and 15.30% for SimPO. These results demonstrate the potential of combining preference-strength margins, learned prompt scales, and length normalization for policy optimization.
• Abstract（参考訳）: 直接選好最適化(DPO)はBradley-Terryモデルによる二項選好を共通のノイズスケールでモデル化する。 本研究では, 強度依存的マージンと学習的即効性尺度を組み合わせた不確実性正規化マージンDPO(UNM-DPO)を導入する。 ヘテロスケダスティックなBradley-Terryモデルによって動機付けされ、2つのトレーニング目標が開発された。 どちらも、応答の対数確率比から導かれる優先応答と拒否応答の暗黙の報酬を基準ポリシーと比較する。 アドバンテージのみ(AO)はこの報酬差を、マージンを減じる前に即時スケールで分割し、全体レジデンシャル(WR)はマージンを減じる。 WR比較モデルでは、既知のマージンが素早いスケールを識別できる必要十分条件を確立する。 我々はその規模を学習するための実践的な手順を導入する。 WR上に構築したULNM-DPO-WRは,応答の暗黙の報酬をその長さで正規化する。 我々は、Skyworkの報酬モデルを用いて、DPOとHelpSteer2およびHelpSteer3のベースラインに関する手法の評価を行った。 Llama-3.1-8B-Instructでは、ULNM-DPO-WRは、一致したDPOの68.00%と65.31%に対して、平均的な報酬と平均的なレスポンスがより高く、タイ調整された勝利率を達成する。 GPT-4.1の審査員とGPT-4-Turboの基準回答を持つAlpacaEvalでは、DPOが16.39%、SimPOが15.30%と、同じ8Bポリシーが21.62%の勝利率を達成した。 これらの結果は、嗜好強度マージン、学習されたプロンプトスケール、およびポリシー最適化のための長さ正規化を組み合わせる可能性を示している。

関連論文リスト

• Boosting Direct Preference Optimization with Penalization [0.0]
  DPOP(Direct Preference Optimization with Penalization)は、DPOの単純な拡張であり、基準グレード応答に対するゲートペナルティによるベース優先損失を増大させる。 AlpacaEval 2.0では、DPOPはLlama-3-8b-itとGemma-2-9b-itの両方でDPO、SimPO、AlphaDPOよりも長さ制御された勝利率を改善する。
  論文  参考訳（メタデータ） (2026-06-10T17:22:51Z)
• AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates [0.03999851878220877]
  本稿では,DPOアルゴリズムの自己適応的変種を提案する。 AdaDPOは、好ましくない確率と好ましくない確率の勾配の等級を強制するために構築される。 損失レベルで純粋に動作するため、AdaDPOは既存の好みベースのアライメントパイプラインにドロップすることができる。
  論文  参考訳（メタデータ） (2026-05-27T13:05:49Z)
• BPO: Revisiting Preference Modeling in Direct Preference Optimization [13.243174453617064]
  DPO (Direct Preference Optimization) は、Large Language Models (LLM) を人間の好みに合わせる一般的な手法として登場した。 DPOは、ペアのランク付け損失を通じて、選択された応答と拒否された応答の相対順序を効果的に保持する。 それはしばしば絶対的な報酬の程度を無視し、パフォーマンスを低下させる。 本稿では,選択された応答と拒否された応答の最適化のバランスをとる新しいフレームワークであるBa balanced Preference Optimization (BPO)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T04:21:01Z)
• Preference Optimization by Estimating the Ratio of the Data Distribution [31.298532877678657]
  本稿では,比例マッチングのためのBregman preference Optimization (BPO)を提案する。 BPO は DPO を特別な場合として仮定し、すべてのインスタンスに対して tractable form を提供する。 実験では、$f$-DPOや$f$-POのような他の確率的損失拡張とは異なり、BPOのインスタンスはDPOと比較して勝利率とエントロピーの両方を改善する。
  論文  参考訳（メタデータ） (2025-05-26T07:10:53Z)
• Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning [55.65738319966385]
  我々は、新しいオンラインアルゴリズム、反復的ナッシュポリシー最適化(INPO)を提案する。 従来の方法とは異なり、INPOは個々の応答に対する期待される勝利率を推定する必要性を回避している。 LLaMA-3-8BベースのSFTモデルで、INPOはAlpacaEval 2.0で42.6%、Arena-Hardで37.8%の勝利率を達成した。
  論文  参考訳（メタデータ） (2024-06-30T08:00:34Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。