論文の概要: Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO

• arxiv url: http://arxiv.org/abs/2505.19770v1
• Date: Mon, 26 May 2025 09:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.343029
• Title: Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO
• Title（参考訳）: 選好学習におけるパフォーマンスギャップの理解:RLHFとDPOの二分法
• Authors: Ruizhe Shi, Minhak Song, Runlong Zhou, Zihan Zhang, Maryam Fazel, Simon S. Du,
• Abstract要約: 本研究では,人間からのフィードバックからの強化学習と,表現ギャップ下での直接選好最適化との間の性能ギャップを分解する。 RLHF, DPO, オンラインDPOは, モデルミスのタイプによって, 互いに優れることを示す。
• 参考スコア（独自算出の注目度）: 51.22869332661607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a fine-grained theoretical analysis of the performance gap between reinforcement learning from human feedback (RLHF) and direct preference optimization (DPO) under a representation gap. Our study decomposes this gap into two sources: an explicit representation gap under exact optimization and an implicit representation gap under finite samples. In the exact optimization setting, we characterize how the relative capacities of the reward and policy model classes influence the final policy qualities. We show that RLHF, DPO, or online DPO can outperform one another depending on the type of model mis-specifications. Notably, online DPO can outperform both RLHF and standard DPO when the reward and policy model classes are isomorphic and both mis-specified. In the approximate optimization setting, we provide a concrete construction where the ground-truth reward is implicitly sparse and show that RLHF requires significantly fewer samples than DPO to recover an effective reward model -- highlighting a statistical advantage of two-stage learning. Together, these results provide a comprehensive understanding of the performance gap between RLHF and DPO under various settings, and offer practical insights into when each method is preferred.
• Abstract（参考訳）: 本稿では,人間フィードバックからの強化学習(RLHF)と直接選好最適化(DPO)の表現ギャップにおける性能ギャップの詳細な理論的解析を行う。 本研究は, このギャップを, 厳密な最適化の下での明示的表現ギャップと, 有限標本下での暗黙的表現ギャップの2つのソースに分解する。 厳密な最適化設定では、報酬と政策モデルクラスの相対能力が最終的な政策品質にどのように影響するかを特徴付ける。 RLHF, DPO, オンラインDPOは, モデルミスのタイプによって, 互いに優れることを示す。 オンラインDPOは、報酬モデルクラスとポリシーモデルクラスが同型である場合、RLHFと標準DPOの両方より優れている。 近似最適化設定では,実効的な報酬モデルを回復するために,RLHF が DPO よりもはるかに少ないサンプルを必要とすることを示し,二段階学習の統計的優位性を強調した具体的な構成を提供する。 これらの結果は,RLHFとDPOのパフォーマンスギャップを様々な設定で包括的に把握し,各手法が好まれる時期に関する実践的な洞察を提供する。

関連論文リスト

• Towards Self-Improvement of Diffusion Models via Group Preference Optimization [10.6096255671291]
  グループ優先最適化(GPO)は、外部データを必要とせずに性能を向上させる効果的な自己改善手法である。 GPOは、安定拡散3.5媒体の正確なカウントとテキストレンダリング能力を20パーセント改善する。 プラグアンドプレイ方式では、推論中に余分なオーバーヘッドは発生しない。
  論文  参考訳（メタデータ） (2025-05-16T10:04:57Z)
• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• DPO: A Differential and Pointwise Control Approach to Reinforcement Learning [3.2857981869020327]
  連続状態行動空間における強化学習(RL)は、科学計算において依然として困難である。 本稿では,連続時間制御の観点からRLを再構成する新しいフレームワークである差分強化学習(Differential RL)を紹介する。 我々は,局所運動演算子を洗練させる段階的アルゴリズムである微分ポリシー最適化(DPO)を開発した。
  論文  参考訳（メタデータ） (2024-04-24T03:11:12Z)
• Reward Model Learning vs. Direct Policy Optimization: A Comparative Analysis of Learning from Human Preferences [24.645259298082436]
  我々は、人間からのフィードバック(RLHF)からの強化学習のパラダイムと、最近提案された直接選好最適化(DPO)のパラダイムを体系的に比較することにより、人間の嗜好から学ぶことのより深い理解に向けた一歩を踏み出した。 RLHFとDPOの両方によって誘導される最適下界の最小値統計的境界を導出する。 我々は解析を近似最適化設定に拡張し、RLHFとDPOの指数的に減衰する収束率を導出する。
  論文  参考訳（メタデータ） (2024-03-04T09:13:14Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。