論文の概要: $ξ$-DPO: Direct Preference Optimization via Ratio Reward Margin
- arxiv url: http://arxiv.org/abs/2605.10981v1
- Date: Sat, 09 May 2026 03:48:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.274871
- Title: $ξ$-DPO: Direct Preference Optimization via Ratio Reward Margin
- Title（参考訳）: $$-DPO: Ratio Reward Marginによる直接参照最適化
- Abstract要約: 我々は、SimPOにおけるマージンの定式化は、異なる報酬ギャップ構造を持つデータセット間で容易に解釈できないと論じる。
提案する$-DPO: 比報酬マージンによる直接選好最適化。
- 参考スコア（独自算出の注目度）: 16.49252561546099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reference-free preference optimization has emerged as an efficient alternative to reinforcement learning from human feedback, with Simple Preference Optimization(SimPO) demonstrating strong performance by eliminating the explicit reference model through a simple objective. However, the joint tuning of the hyperparameters $β$ and $γ$ in SimPO remains a central challenge. We argue that this difficulty arises because the margin formulation in SimPO is not easily interpretable across datasets with different reward gap structures. To better understand this issue, we conduct a comprehensive analysis of SimPO and find that $β$ implicitly controls sample filtering, while the effect of $γ$ depends on the reward gap structure of the dataset. Motivated by these observations, we propose $ξ$-DPO: Direct preference optimization via ratio reward margin. We first reformulate the preference objective through an equivalent transformation, changing the optimization target from maximizing the likelihood of reward gaps to minimizing the distance between reward gaps and optimal margins. Then, we redefine the reward in a ratio form between the chosen and rejected, which effectively cancels the effect of $β$ and yields a bounded and interpretable margin. This margin is called the ratio reward margin and is denoted by $ξ$. Unlike the margin $γ$ in SimPO, $ξ$ explicitly represents the desired relative separation between chosen and rejected responses and can be determined from the initial reward gap distribution, avoiding repeated trial-and-error tuning. ....
- Abstract（参考訳）: SimPO(Simple Preference Optimization)は、単純な目的を通じて明示的な参照モデルを排除し、強力な性能を示す。
しかし、SimPO における超パラメータ $β$ と $γ$ のジョイントチューニングは依然として中心的な課題である。
我々は、SimPOのマージンの定式化は、異なる報酬ギャップ構造を持つデータセット間で容易に解釈できないため、この困難が生じると論じる。
この問題をよりよく理解するために、SimPOの包括的な分析を行い、$β$がサンプルフィルタリングを暗黙的に制御するのに対して、$γ$の効果はデータセットの報酬ギャップ構造に依存する。
これらの観測によって動機づけられた$-DPO: 比報酬マージンによる直接選好最適化を提案する。
まず、最適化対象を報酬ギャップの最大化から、報酬ギャップと最適マージン間の距離の最小化に変更する。
次に、選択された値と拒否された値の比率で報酬を再定義し、$β$の効果を効果的にキャンセルし、有界かつ解釈可能なマージンを得る。
このマージンは比報酬マージンと呼ばれ、$=$で表される。
SimPO のマージン $γ$ とは異なり、$ は選択された応答と拒否された応答の相対的な分離を明示的に表現し、繰り返し試行錯誤のチューニングを避けることで、最初の報酬ギャップ分布から決定できる。
はぁ...。
関連論文リスト
- Disentangling Optimization Scale from Preference Scale in DPO [0.0]
提案手法は,効率の良い逆選好ノイズ尺度を制御し,最適化のダイナミクスを同時に再スケールする。
本稿では,DPOに等価なargminを$0$で提供するとともに,逆選好ノイズ尺度および学習速度効果を明示的かつ独立的に調整可能とした。
論文 参考訳（メタデータ） (2026-08-27T12:21:14Z) - Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。
異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。
本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
論文 参考訳（メタデータ） (2026-08-17T04:07:50Z) - Reward Learning from Best-of-$N$ Preference Data: Targets, Tradeoffs, and Design Principles [39.21477667267936]
我々は、その誘導条件分布による嗜好データの最近の分析をBest-of-N$に専門化する。
独立参照変種に対しては、N$と基底分布の明示的な関数として閉形式報酬対象を導出する。
合成および実選好データに関する実験は、予測されたサンプルサイズとベース分布形状への依存を支持する。
論文 参考訳（メタデータ） (2026-05-28T22:15:57Z) - Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。
鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。
我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文 参考訳（メタデータ） (2026-05-21T08:57:38Z) - Objective Shaping with Hard Negatives: Windowed Partial AUC Optimization for RL-based LLM Recommenders [74.55181072260713]
ビームサーチの負のトレーニングは、ランダムな負のトレーニングよりも一貫して優れている。
ここでは,ウィンドウに偽陽性率(FPR)を制約し,Top-K$メトリクスとより直接整合させるウィンドウ付き部分AUC(WPAUC)を紹介する。
4つの実世界のデータセットの実験は、理論を検証し、一貫した最先端のパフォーマンスを提供する。
論文 参考訳（メタデータ） (2026-04-24T12:31:57Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。
MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。
理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
論文 参考訳（メタデータ） (2024-12-05T21:50:22Z) - AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
$alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。
ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。
さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
論文 参考訳（メタデータ） (2024-10-14T04:29:57Z) - Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳（メタデータ） (2024-05-26T05:38:50Z) - $i$REPO: $i$mplicit Reward Pairwise Difference based Empirical Preference Optimization [12.266207199002604]
大規模言語モデル(LLM)は、人間の期待から外れた出力を生成することがある。
経験的選好最適化に暗黙的逆差分回帰を利用する,$i$REPO という新しいフレームワークを提案する。
i$REPOは, ソフトラベル, 自己生成応答, 経験的AIアノテータのロジットを用いて, 効果的に自己アライメントを実現することを示す。
論文 参考訳（メタデータ） (2024-05-24T05:42:11Z) - Vector Optimization with Stochastic Bandit Feedback [10.66048003460524]
幾何学的帯域フィードバックを用いたベクトル最適化問題を導入する。
多次元平均報酬ベクトルを持つ$K$の設計を、多面的順序付けコーン$C$に従って部分的に順序付けする。
論文 参考訳（メタデータ） (2021-10-23T22:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。