論文の概要: From RLHF to Direct Alignment: A Theoretical Unification of Preference Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2601.06108v1
• Date: Sat, 03 Jan 2026 08:33:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.577425
• Title: From RLHF to Direct Alignment: A Theoretical Unification of Preference Learning for Large Language Models
• Title（参考訳）: RLHFから直列アライメントへ:大規模言語モデルに対する優先学習の理論的統一
• Authors: Tarun Raheja, Nilay Pochhi,
• Abstract要約: 本調査は、選好学習手法のテキスト理論的統合を提供する。 それぞれの軸を正確な定義と定理で定式化する。 我々は50以上の論文にまたがる経験的知見を合成し,方法選択のための実践者の意思決定ガイドを提供する。
• 参考スコア（独自算出の注目度）: 0.7366405857677227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligning large language models (LLMs) with human preferences has become essential for safe and beneficial AI deployment. While Reinforcement Learning from Human Feedback (RLHF) established the dominant paradigm, a proliferation of alternatives -- Direct Preference Optimization (DPO), Identity Preference Optimization (IPO), Kahneman-Tversky Optimization (KTO), Simple Preference Optimization (SimPO), and many others -- has left practitioners without clear guidance on method selection. This survey provides a \textit{theoretical unification} of preference learning methods, revealing that the apparent diversity reduces to principled choices along three orthogonal axes: \textbf{(I) Preference Model} (what likelihood model underlies the objective), \textbf{(II) Regularization Mechanism} (how deviation from reference policies is controlled), and \textbf{(III) Data Distribution} (online vs.\ offline learning and coverage requirements). We formalize each axis with precise definitions and theorems, establishing key results including the coverage separation between online and offline methods, scaling laws for reward overoptimization, and conditions under which direct alignment methods fail. Our analysis reveals that failure modes -- length hacking, mode collapse, likelihood displacement -- arise from specific, predictable combinations of design choices. We synthesize empirical findings across 50+ papers and provide a practitioner's decision guide for method selection. The framework transforms preference learning from an empirical art into a theoretically grounded discipline.
• Abstract（参考訳）: 人間の好みによる大規模言語モデル(LLM)の調整は、安全で有益なAIデプロイメントに不可欠である。 Reinforcement Learning from Human Feedback(RLHF)が支配的なパラダイムを確立した一方で、代替案の拡散 -- 直接選好最適化(DPO)、アイデンティティ選好最適化(IPO)、Kahneman-Tversky Optimization(KTO)、Simple Preference Optimization(SimPO)など -- は、メソッド選択に関する明確なガイダンスのない実践者を残している。この調査では、選好学習手法の \textit{theoretical unification} を提供し、明らかな多様性が3つの直交軸に沿った原則的選択に還元されることを明らかにしている。 \textbf{(I)Preference Model}(モデルが目的をどう想定しているか)、 \textbf{(II) Preference Mechanism}(参照ポリシからの逸脱)、 \textbf{(III) Regularization Mechanism}(参照ポリシーからの逸脱)、 \textbf{(III)Regularization Mechanism}(参照条件からの逸脱)、 \textbf{(III) Data Distribution(オフライン条件)、およびオフライン条件の明確化、オフライン条件の明確化、オフライン条件の明確化、オフライン条件の明確化、オフライン条件の明確化、オフライン条件の明確化を含む。 我々は50以上の論文にまたがる経験的知見を合成し,方法選択のための実践者の意思決定ガイドを提供する。 この枠組みは、嗜好学習を経験的芸術から理論的に基礎付けられた分野に変換する。

関連論文リスト

• Multi-Objective Reward and Preference Optimization: Theory and Algorithms [3.316593788543852]
  この論文は、制御、嗜好学習、大規模言語モデルのアライメントを越えて制約付き強化学習(RL)を進める理論的枠組みとアルゴリズムを開発する。 ACPO, e-COP, warmPref-PS, PSPL, MOPOは, 平均コスト, エピソード, 嗜好駆動のパラダイムでRLを推し進める。 集合的に、論文はRLを平均的コスト、エピソード、および嗜好駆動のパラダイムで統一し、理論的な進歩と、安全で整合した意思決定のための実践的なツールを提供する。
  論文  参考訳（メタデータ） (2025-12-11T12:51:21Z)
• Beyond Single: A Data Selection Principle for LLM Alignment via Fine-Grained Preference Signals [46.58760908162995]
  本研究では,大規模言語モデルのための新しい理論的基盤データ選択法を提案する。 直接選好最適化目標の損失境界を解析することにより,この戦略の最適性を証明する。 我々の戦略は、標準的な全体主義的嗜好とより強い託宣の両方に対して、10%以上の相対的な改善を達成する。
  論文  参考訳（メタデータ） (2025-08-11T05:43:02Z)
• Alignment as Distribution Learning: Your Preference Model is Explicitly a Language Model [12.063078727764045]
  人間のフィードバックからの強化学習によるアライメントは理論的正当性に欠け、決定論的解のインセンティブを与える。 本稿では, 優先最大推定, 優先蒸留, 逆KL最小化の3つの基本学習目標を提案する。 我々は、我々の分布学習フレームワーク、特に嗜好蒸留が、RLHFとDPOのパフォーマンスを一貫して上回るか、あるいは一致しているかを実証的に示す。
  論文  参考訳（メタデータ） (2025-06-02T10:36:31Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• The Importance of Online Data: Understanding Preference Fine-tuning via Coverage [25.782644676250115]
  選好微調整におけるオンライン手法とオフライン手法の類似点と相違点について検討した。 グローバルなカバレッジ条件は、オフラインのコントラスト手法が最適ポリシーに収束するのに必要かつ十分であることを示す。 KL正規化のためのオンラインデータとコントラストベースの選好最適化にオフラインデータを利用するハイブリッド選好最適化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-06-03T15:51:04Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)
• Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
  本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。 まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。 有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。