論文の概要: Reliability-Weighted Direct Preference Optimization: Penalized Weights for Robust Preference Learning
- arxiv url: http://arxiv.org/abs/2610.41588v1
- Date: Fri, 30 Oct 2026 11:24:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.690301
- Title: Reliability-Weighted Direct Preference Optimization: Penalized Weights for Robust Preference Learning
- Title（参考訳）: 信頼度重み付き直接選好最適化:ロバスト選好学習のためのペナルタイズウェイト
- Abstract要約: RW-DPOは、報告された全ての比較を正しいものとして扱うが、選好データは逆比較、結びつき比較、その他のノイズ比較を含む。
比較毎に1つのアノテーションからすべてのフリップした比較を復元するには、$log n$のマージンが必要であることを証明します。
シミュレーションにおいて、RW-DPOは、DPO、ノイズレート補正および最近のロバストな手法の中で最も低い平均推定誤差を有する。
- 参考スコア（独自算出の注目度）: 5.934664037815355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Direct Preference Optimization (DPO) treats every reported comparison as correct, yet preference data contain reversed, tied or otherwise noisy comparisons. RW-DPO gives each comparison an unknown reliability weight $w_i\in[0,1]$ that enters the likelihood linearly -- DPO is $w\equiv1$, a reversed comparison $w_i=0$ -- and estimates the weights jointly with the policy under a minimax-concave penalty on $-\log w_i$. The penalty keeps every comparison the model agrees with at exactly $w_i=1$ and acts only on those it contradicts, through closed-form weight updates at negligible cost over DPO. We prove that recovering all flipped comparisons from a single annotation per comparison requires margins of order $\log n$. Furthermore, in a linear-index model, starting from an initial fit pointing in the correct direction, our estimator jointly consistently recovers the preference direction and weights, as well as identifies the flipped comparisons above this margin scale, even when a fixed fraction of comparisons is flipped. In simulations RW-DPO has the lowest average estimation error among DPO, noise-rate corrections and recent robust methods, with far more precise flags than recent label-correction methods. In DPO fine-tuning of a language model with 10-30% flipped labels, its win rate does not fall as the flip rate grows and exceeds that of DPO trained on clean labels, matching the strongest recent method with corrections concentrated on the flipped labels.
- Abstract（参考訳）: 直接選好最適化(DPO)は、報告された全ての比較を正しいものとして扱うが、選好データは逆、結びつき、ノイズの多い比較を含む。
RW-DPO は、信頼度が不明な $w_i\in[0,1]$ を線形に入力し、DPO は $w\equiv1$ であり、逆比較は $w_i=0$ である。
このペナルティは、モデルが正確に$w_i=1$と一致するすべての比較を保ち、矛盾するものにのみ作用する。
比較毎に1つのアノテーションからすべてのフリップした比較を復元するには、オーダー$\log n$のマージンが必要であることを証明します。
さらに,線形インデックスモデルでは,初期フィットから正しい方向を向いている場合から,推定器が連続的に選好方向と重みを復元し,比較値の一定割合をフリップしても,このマージンスケール上のフリップの比較を同定する。
シミュレーションにおいて、RW-DPOは、DPO、ノイズレート補正および最近のロバストな手法の中で、最も低い平均推定誤差を持ち、最近のラベル補正法よりもはるかに正確なフラグを持つ。
10-30%のフリップラベルを持つ言語モデルのDPO微調整において、フリップレートが増加し、クリーンラベルで訓練されたDPOの値を超えると、その勝利率は低下しない。
関連論文リスト
- Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。
クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
論文 参考訳（メタデータ） (2026-09-30T12:41:43Z) - PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization [40.91256615677526]
本稿では,好みを安定的に最適化するための後ラベル補正DPOを提案する。
主要な考え方は、適切な修正措置を取るために、政策基準マージンをオンライン証拠として使うことである。
PLC-DPOは、DPOに対する最良の平均勝利率を得る(次ベット法では60.5対55.5)
論文 参考訳（メタデータ） (2026-08-31T11:11:33Z) - Disentangling Optimization Scale from Preference Scale in DPO [0.0]
提案手法は,効率の良い逆選好ノイズ尺度を制御し,最適化のダイナミクスを同時に再スケールする。
本稿では,DPOに等価なargminを$0$で提供するとともに,逆選好ノイズ尺度および学習速度効果を明示的かつ独立的に調整可能とした。
論文 参考訳（メタデータ） (2026-08-27T12:21:14Z) - wDPO: Winsorized Direct Preference Optimization for Robust LLM Alignment [48.487557157323664]
実際には、好みのデータはしばしばうるさい。
既存のDPOの頑健な派生型は、主に一様の客観的な修正や大域的な再重み付けに依存している。
目的の介入によって異なるノイズタイプに対処することで、ロバストな選好アライメントの利点が示される。
論文 参考訳（メタデータ） (2026-03-07T13:30:53Z) - Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。
DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。
この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。
DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
論文 参考訳（メタデータ） (2026-02-12T12:55:51Z) - The Viscosity of Logic: Phase Transitions and Hysteresis in DPO Alignment [0.0]
直接選好最適化(DPO)はしばしば、アライメント圧力($$$で制御される)が徐々に「良い」振る舞いをもたらすように調整される。
コントロールパラメータとして$を扱い、固定DPOレシピの下で7Bのオープンウェイトファミリを密に掃除する。
論文 参考訳（メタデータ） (2026-01-24T02:19:20Z) - Distortion of AI Alignment: Does Preference Optimization Optimize for Preferences? [20.004349891563706]
事前学習後、大きな言語モデルはペア比較に基づいて人間の好みに適合する。
本稿では,最適達成可能な平均効用量と学習ポリシーの平均効用量との最悪のケース比について,アライメント手法の歪みを紹介する。
論文 参考訳（メタデータ） (2025-05-29T17:59:20Z) - KL Penalty Control via Perturbation for Direct Preference Optimization [55.24971559149686]
我々は、KLのペナルティ強度を各選好ペアに対して適応的に制御できる$varepsilon$-Direct Preference Optimization (varepsilon$-DPO)を提案する。
KLペナルティ緩和のための$varepsilon$-DPOの簡単な基準は、既存の直接アライメントアルゴリズムと比較して、DPOを大幅に改善することを示す。
論文 参考訳（メタデータ） (2025-02-18T06:44:10Z) - Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。
本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
論文 参考訳（メタデータ） (2024-09-10T17:54:28Z) - Theoretical guarantees on the best-of-n alignment policy [110.21094183592358]
我々は、KLの最良のn$ポリシーと参照ポリシーのKL分岐が、実際のKL分岐の上限であることを示す。
そこで本研究では,KLの発散に対する新しい推定器を提案し,その近似が厳密であることを実証的に示す。
我々は、利益率とKLの最良のn$アライメントポリシーの相違点を分析することで締めくくった。
論文 参考訳（メタデータ） (2024-01-03T18:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。