論文の概要: DDO-RM for LLM Preference Optimization: A Minimal Held-Out Benchmark against DPO

• arxiv url: http://arxiv.org/abs/2604.11119v1
• Date: Mon, 13 Apr 2026 07:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.400366
• Title: DDO-RM for LLM Preference Optimization: A Minimal Held-Out Benchmark against DPO
• Title（参考訳）: LLM選好最適化のためのDDO-RM:DPOに対する最小のHld-Outベンチマーク
• Authors: Tiantian Zhang, Jierui Zuo, Wenping Wang,
• Abstract要約: 報酬誘導型意思決定分配更新は、直接的なペアワイズ目標を上回ることができるか? We compare Direct Preference Optimization (DPO) against DDO-RM on EleutherAI/pythia-410m using HuggingFaceH4/ultrafeedback_binarized。 DDO-RM は平均ペア精度を 0.5238 から 0.5602 に改善し、AUC は 0.5315 から 0.5382 に、平均マージンは 0.1377 から 0.5353 に改善した。
• 参考スコア（独自算出の注目度）: 28.8958596884292
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper reorganizes the current manuscript around the DPO versus DDO-RM preference-optimization project and focuses on two parts: the algorithmic view and the preliminary held-out benchmark. The benchmark asks a narrow question: even in a minimal pairwise chosen-versus-rejected setting, can a reward-guided decision-distribution update outperform a direct pairwise objective? We compare Direct Preference Optimization (DPO) against DDO-RM on EleutherAI/pythia-410m using HuggingFaceH4/ultrafeedback\_binarized, evaluate on the held-out test\_prefs split, and report results for seeds 42, 13, and 3407. Algorithmically, DDO-RM treats each prompt as a finite decision problem over candidate responses. Instead of optimizing only a binary chosen-rejected relation, it forms a policy distribution over candidates, centers reward-model scores under that distribution, and distills a reward-guided target distribution back into the policy. In the current public benchmark, DDO-RM improves mean pair accuracy from 0.5238 to 0.5602, AUC from 0.5315 to 0.5382, and mean margin from 0.1377 to 0.5353 relative to DPO. These are encouraging but still preliminary results: the study covers one model family, one dataset, one held-out evaluation split, and three seeds.
• Abstract（参考訳）: 本稿では、DPO対DDO-RM選好最適化プロジェクトに関する現在の原稿を再編成し、アルゴリズムビューと予備保留ベンチマークの2つの部分に焦点を当てる。 最小限のペアワイズ選択が拒否された設定であっても、報酬誘導による意思決定分配更新は、直接的なペアワイズ目標よりも優れているだろうか? We compare direct preference Optimization (DPO) against DDO-RM on EleutherAI/pythia-410m using HuggingFaceH4/ultrafeedback\_binarized, evaluate on the held-out test\_prefs split, and report report results for seed 42, 13, 3407。 アルゴリズム的には、DDO-RMは各プロンプトを候補応答に対する有限決定問題として扱う。 選択された二項関係のみを最適化する代わりに、候補に対してポリシー分布を形成し、その分布の下に報酬モデルスコアを集中させ、報酬誘導された目標分布をポリシーに蒸留する。 現在のベンチマークでは、DDO-RM は平均ペア精度を 0.5238 から 0.5602 に改善し、AUC は 0.5315 から 0.5382 に、平均マージンは 0.1377 から 0.535353 に改善している。 この研究は、1つのモデルファミリー、1つのデータセット、1つの保留評価分割、3つのシードをカバーしています。

関連論文リスト

• Lightweight Robust Direct Preference Optimization [26.99327564250612]
  DPO-PRO (DPO with Preference Robustness) はDPOに基づく頑健な微調整アルゴリズムである。 従来のDROベースの変種とは異なり、DPO-PROは好みの不確実性にのみ焦点をあて、不必要な保守性を避け、無視可能な計算オーバーヘッドを発生させる。
  論文  参考訳（メタデータ） (2025-10-27T17:55:06Z)
• Latent Collective Preference Optimization: A General Framework for Robust LLM Alignment [7.1259212876994695]
  雑音データから潜在集団コンセンサスを学習するためにLCPO(Latent Collective Preference Optimization)を導入する。 本実験はLCPOの汎用フレームワークとしての有効性を実証し、4つの最先端アライメントアルゴリズムを一貫して強化した。 Mistral と Llama 3 モデルに適用すると、LCPO を拡張した手法は AlpacaEval 2 と Arena-Hard でかなりの利得を達成し、両方のベンチマークで最大 7.0 % 改善した。
  論文  参考訳（メタデータ） (2025-09-29T01:17:49Z)
• BPO: Revisiting Preference Modeling in Direct Preference Optimization [13.243174453617064]
  DPO (Direct Preference Optimization) は、Large Language Models (LLM) を人間の好みに合わせる一般的な手法として登場した。 DPOは、ペアのランク付け損失を通じて、選択された応答と拒否された応答の相対順序を効果的に保持する。 それはしばしば絶対的な報酬の程度を無視し、パフォーマンスを低下させる。 本稿では,選択された応答と拒否された応答の最適化のバランスをとる新しいフレームワークであるBa balanced Preference Optimization (BPO)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T04:21:01Z)
• Preference Optimization via Contrastive Divergence: Your Reward Model is Secretly an NLL Estimator [32.05337749590184]
  本稿では,非推奨の完了を効果的にサンプリングするための理論的ガイダンスを提供する新しいPOフレームワークを開発する。 次に、サンプリング戦略としてコントラスト分散(CD)を選択し、新しいMC-POアルゴリズムを提案する。 OnMC-POは既存のSOTAベースラインより優れており、OnMC-POはさらなる改善をもたらす。
  論文  参考訳（メタデータ） (2025-02-06T23:45:08Z)
• Simultaneous Reward Distillation and Preference Learning: Get You a Language Model Who Can Do Both [6.102274021710727]
  本稿では, DRDO (Direct Reward Distillation and Policy-Optimization) を紹介する。 Ultrafeedback と TL;DR データセットの結果、DRDO が学習したポリシーが、期待される報酬の点で DPO や e-DPO などの手法を超越していることが示されている。
  論文  参考訳（メタデータ） (2024-10-11T02:19:11Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。