論文の概要: On the Generalization of Preference Learning with DPO

• arxiv url: http://arxiv.org/abs/2408.03459v2
• Date: Mon, 12 Aug 2024 14:45:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-13 20:04:01.772931
• Title: On the Generalization of Preference Learning with DPO
• Title（参考訳）: DPOによる選好学習の一般化について
• Authors: Shawn Im, Yixuan Li,
• Abstract要約: 大きな言語モデル(LLM)は目覚ましい能力を示してきたが、しばしば人間の好みに合わせるのに苦労している。 嗜好学習は、人間のフィードバックに基づいて、好ましくない反応と好ましくない反応を区別するモデルを訓練する。 本稿では、直接選好最適化(DPO)で訓練されたモデルの一般化保証を解析するための新しい理論的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 17.420727709895736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities but often struggle to align with human preferences, leading to harmful or undesirable outputs. Preference learning, which trains models to distinguish between preferred and non-preferred responses based on human feedback, has become a crucial component for ensuring that LLMs align with human values. Despite the widespread adoption in real-world systems, a thorough theoretical understanding of the generalization guarantees for these models remain lacking. This paper bridges that gap by introducing a new theoretical framework to analyze the generalization guarantees of models trained with direct preference optimization (DPO). While existing generalization theory often focuses on overparameterized models achieving near-optimal loss or models independent of the training process, our framework rigorously assesses how well models generalize after a finite number of gradient steps, reflecting real-world LLM training practices. By analyzing the reward margin associated with each sample and its trajectory throughout training, we can effectively bound the generalization error. We derive learning guarantees showing that, under specific conditions, models trained with DPO can correctly discern preferred responses on unseen data with high probability. These insights are empirically validated on contemporary LLMs, underscoring the practical relevance of our theoretical findings.
• Abstract（参考訳）: 大きな言語モデル(LLM)は目覚ましい能力を示してきたが、しばしば人間の好みに合わせるのに苦労し、有害または望ましくない出力をもたらす。 嗜好学習は、人間のフィードバックに基づいて、好ましくない反応と好ましくない反応を区別するモデルを訓練するものであり、LLMが人間の価値観と整合することを保証する重要な要素となっている。 現実世界のシステムに広く採用されているにもかかわらず、これらのモデルに対する一般化保証の完全な理論的理解はいまだに欠如している。 本稿では、直接選好最適化(DPO)で訓練されたモデルの一般化保証を解析するための新しい理論的枠組みを導入することにより、このギャップを埋める。 既存の一般化理論は、ほぼ最適損失を達成するための過度パラメータ化されたモデルや、トレーニングプロセスに依存しないモデルに焦点を当てることが多いが、我々のフレームワークは、現実のLLMトレーニングの実践を反映して、有限の勾配ステップの後、いかにうまく一般化するかを厳格に評価する。 トレーニングを通して各サンプルとその軌道に関連付けられた報酬マージンを解析することにより、一般化誤差を効果的に境界付けることができる。 我々は、特定の条件下でDPOで訓練されたモデルが、未確認データに対する好ましくない応答を高い確率で正しく識別できることを示す学習保証を導出する。 これらの知見は, 現代のLLMで実証的に検証され, 理論的知見の実用的妥当性を裏付けるものである。

関連論文リスト

• Adding LLMs to the psycholinguistic norming toolbox: A practical guide to getting the most out of human ratings [5.019061035507826]
  本稿では,Large Language Models (LLM) を用いた単語特性推定手法を提案する。 ガイドの主な重点は、人間の「金の標準」規範によるLCM生成データの検証である。 また、当社の方法論を実装し、商用モデルとオープンウェイトモデルの両方をサポートするソフトウェアフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-17T20:11:23Z)
• The Hidden Link Between RLHF and Contrastive Learning [56.45346439723488]
  RLHF(Reinforcement Learning from Human Feedback)とDPO(Simple Direct Preference Optimization)は相互情報(MI)の観点から解釈可能であることを示す。 このフレームワーク内では、RLHFとDPOの両方を、ベースモデルから派生した正と負のサンプルに基づいて対照的な学習を行う方法として解釈することができる。 そこで本稿では,DPO で観測される選択的傾向の後期的低下を軽減するための相互情報最適化 (MIO) を提案する。
  論文  参考訳（メタデータ） (2025-06-27T18:51:25Z)
• Estimating the Effects of Sample Training Orders for Large Language Models without Retraining [49.59675538160363]
  大規模言語モデル(LLM)において,サンプルの訓練順序が重要な役割を担っている 従来の手法では、様々なサンプル順序でモデルを再訓練する必要がある。 リトレーニングフリーのフレームワークを設計することで従来の手法を改善します。
  論文  参考訳（メタデータ） (2025-05-28T07:07:02Z)
• Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws [52.10468229008941]
  本稿では,戦略データの選択や重み付けを通じて,対象モデルのトレーニングを指導・強化するための基準として,訓練モデルを用いた新たな学習パラダイムを定式化する。 提案手法は,参照モデルを持たないトレーニングと比較して,一般化とデータの効率性を改善する理由に関する理論的知見を提供する。 これらの知見に基づいて,DRRho-CLIPと呼ばれる参照モデルを用いたコントラスト言語-画像事前学習手法を提案する。
  論文  参考訳（メタデータ） (2025-05-10T16:55:03Z)
• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• Training an LLM-as-a-Judge Model: Pipeline, Insights, and Practical Lessons [9.954960702259918]
  本稿では,文脈認識評価を行うLLM(en:en:en:en:en:en:en:en:LLMs)ジャッジであるThemisを紹介する。 Themisの開発パイプラインの概要を概観し、シナリオに依存した評価プロンプトを強調します。 メタ評価のための人間ラベル付きベンチマークを2つ導入し、テミスが人間の嗜好を経済的に高度に調整できることを実証した。
  論文  参考訳（メタデータ） (2025-02-05T08:35:55Z)
• Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
  本稿では,応答条件付きBradley-Terryモデルを提案する。 また、大規模言語モデルの直接ポリシー最適化(DPO)にRc-BTモデルを利用するRc-DPOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-02T14:50:25Z)
• A Practical Theory of Generalization in Selectivity Learning [8.268822578361824]
  クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。 確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。 符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
  論文  参考訳（メタデータ） (2024-09-11T05:10:32Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• New Desiderata for Direct Preference Optimization [19.324743346476417]
  我々は,既存のDPO手法が事前学習した基準モデルと,人間の嗜好の実証的尺度とを補間する能力において,未解決の欠点を浮き彫りにする新たな評価基準を導入する。 我々の洞察は、これらの制限を確実に緩和する代替のDPOライクな損失を動機付けます。
  論文  参考訳（メタデータ） (2024-07-12T07:52:32Z)
• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Regularizing Hidden States Enables Learning Generalizable Reward Model for LLMs [25.011675414622392]
  本研究では,分配シフトに対する報酬モデルの一般化能力を高める新しい手法を提案する。 我々は、ベースモデルの言語モデルヘッドを保持し、隠れた状態のテキスト生成機能を維持するために、テキスト生成損失のスイートを組み込む。 実験結果から,導入した正規化手法が学習報酬モデルの精度を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-06-14T17:49:59Z)
• Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
  選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。 多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
  論文  参考訳（メタデータ） (2024-05-29T21:29:44Z)
• The Impossibility of Fair LLMs [17.812295963158714]
  さまざまな技術的公正フレームワークを分析し、公正な言語モデルの開発を難易度の高いものにするために、それぞれに固有の課題を見つけます。 それぞれのフレームワークが汎用的なAIコンテキストに拡張されないか、実際には実現不可能であることを示す。 これらの固有の課題は、LLMを含む汎用AIにおいて、限られた参加入力や限られた測定方法といった経験的な課題が克服されたとしても、持続する。
  論文  参考訳（メタデータ） (2024-05-28T04:36:15Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• Generalizing Reward Modeling for Out-of-Distribution Preference Learning [3.9160947065896803]
  大規模言語モデル(LLM)による嗜好学習は、LLM世代を人間の嗜好に合わせることを目的としている。 人間のフィードバックを得るのが難しいため、遭遇した各分布に対する報酬モデルを個別に訓練することは困難である。 本研究は,メタラーニングアプローチによる一般報酬モデルの最適化により,OOD PLに対処する。
  論文  参考訳（メタデータ） (2024-02-22T18:20:33Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Improving the Reusability of Pre-trained Language Models in Real-world Applications [9.534831387705312]
  Mask-tuning は Masked Language Modeling (MLM) トレーニング目標を微調整プロセスに統合し,PLM の一般化を促進する。 実験により、マスクチューニングは現在の最先端技術を上回ることが示された。 この結果から,マスクチューニングにより,見えないデータ上でのPLMの再利用性が向上し,現実のアプリケーションにおいてより実用的で効果的であることが示唆された。
  論文  参考訳（メタデータ） (2023-07-19T21:00:16Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。