論文の概要: $β$-DPO: Direct Preference Optimization with Dynamic $β$

• arxiv url: http://arxiv.org/abs/2407.08639v1
• Date: Thu, 11 Jul 2024 16:21:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:40:31.953958
• Title: $β$-DPO: Direct Preference Optimization with Dynamic $β$
• Title（参考訳）: $β$-DPO: Dynamic $β$による直接参照最適化
• Authors: Junkang Wu, Yuexiang Xie, Zhengyi Yang, Jiancan Wu, Jinyang Gao, Bolin Ding, Xiang Wang, Xiangnan He,
• Abstract要約: 直接選好最適化(DPO)は、人間の嗜好に従うために大規模言語モデル(LLM)を訓練するための魅力的なアプローチとして登場した。 我々は、$beta$とデータ品質がDPOに与える影響を分析し、最適な$beta$値がペアデータの情報性によって異なることを明らかにする。 バッチレベルで$beta$を動的に校正する新しいフレームワークを導入し、データ品質を考慮に入れます。
• 参考スコア（独自算出の注目度）: 45.63597733177275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct Preference Optimization (DPO) has emerged as a compelling approach for training Large Language Models (LLMs) to adhere to human preferences. However, the performance of DPO is sensitive to the fine-tuning of its trade-off parameter $\beta$, as well as to the quality of the preference data. We analyze the impact of $\beta$ and data quality on DPO, uncovering that optimal $\beta$ values vary with the informativeness of pairwise data. Addressing the limitations of static $\beta$ values, we introduce a novel framework that dynamically calibrates $\beta$ at the batch level, informed by data quality considerations. Additionally, our method incorporates $\beta$-guided data filtering to safeguard against the influence of outliers. Through empirical evaluation, we demonstrate that our dynamic $\beta$ adjustment technique significantly improves DPO's performance across a range of models and datasets, offering a more robust and adaptable training paradigm for aligning LLMs with human feedback. The code is available at \url{https://github.com/junkangwu/beta-DPO}.
• Abstract（参考訳）: 直接選好最適化(DPO)は、人間の嗜好に従うために大規模言語モデル(LLM)を訓練するための魅力的なアプローチとして登場した。 しかし、DPOの性能は、トレードオフパラメータ$\beta$の微調整や、好みデータの品質に敏感である。 我々は、$\beta$とデータ品質がDPOに与える影響を分析し、最適な$\beta$値がペアデータの情報性によって異なることを明らかにする。 静的$\beta$値の制限に対処するため、バッチレベルで$\beta$を動的に校正する新しいフレームワークを導入します。 さらに,この手法には$\beta$-guided data filtering が組み込まれている。 実験的な評価を通じて、我々の動的$\beta$調整技術は、さまざまなモデルやデータセットにわたるDPOのパフォーマンスを大幅に改善し、LLMと人間のフィードバックの整合性を高めるための、より堅牢で適応可能なトレーニングパラダイムを提供することを示した。 コードは \url{https://github.com/junkangwu/beta-DPO} で公開されている。

関連論文リスト

• $f$-PO: Generalizing Preference Optimization with $f$-divergence Minimization [91.43730624072226]
  $f$-POは、既存のアプローチを一般化し拡張する新しいフレームワークである。 ベンチマークデータセットを用いて最先端言語モデルの実験を行う。
  論文  参考訳（メタデータ） (2024-10-29T02:11:45Z)
• Aligning Large Language Models via Self-Steering Optimization [78.42826116686435]
  本稿では,高品質な選好信号を自律的に生成するアルゴリズムであるSelf-Steering Optimization(SSO$)を紹介する。 SSO$は、選択された応答と拒否された応答の間に一貫したギャップを確保することで、信号の精度を維持する。 我々は、Qwen2とLlama3.1という2つの基礎モデルを用いて、$SSO$の有効性を検証する。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• The Crucial Role of Samplers in Online Direct Preference Optimization [36.68862142959827]
  DPO(Direct Preference Optimization)は、言語モデルアライメントのための安定的でスケーラブルで効率的なソリューションとして登場した。 我々はDPOの$textitconvergence rate$の厳密な分析を行い、正確な勾配設定の下で異なるサンプリング戦略を示す。 この結果は,DPOの理論的立場に関する知見を提供するとともに,潜在的なアルゴリズム設計の道を開くものである。
  論文  参考訳（メタデータ） (2024-09-29T07:53:50Z)
• Towards Robust Alignment of Language Models: Distributionally Robustifying Direct Preference Optimization [45.6430987775264]
  本研究は、DPO(Direct Preference Optimization)のためのトレーニングデータセットにおけるノイズの課題に対処する。 ノイズを低品質なデータポイントを含むポイントワイズノイズと、誤ったデータペアアソシエーションを含むペアワイズノイズに分類する。 本稿では、最悪の場合のペアワイズシナリオに対して最適化することで、ペアワイズロバストネスを統合した分散ロバスト化DPOを提案する。
  論文  参考訳（メタデータ） (2024-07-10T17:48:25Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Provably Robust DPO: Aligning Language Models with Noisy Feedback [10.523790076060171]
  ランダムな選好フリップが存在する場合に、ポリシー最適化のための一般的なフレームワークを導入する。 本研究では,ノイズが平均値に与える影響を非バイアス化する新しい損失関数を設計し,その損失を騒音に頑健に抑えることで訓練を行う。 IMDb 感情生成と Anthropic's useful-harmless データセットを用いた実験により,rDPO はバニラ DPO と比較して好みラベルのノイズに対して頑健であることが示された。
  論文  参考訳（メタデータ） (2024-03-01T09:55:18Z)
• Active Preference Optimization for Sample Efficient RLHF [27.772423917657626]
  RLHF(Reinforcement Learning from Human Feedback)は、大規模言語モデルと人間の嗜好の整合において重要である。 現在の方法は、プロンプトジェネレーションのデータセットからプロンプトジェネレーションペアを均一に選択することに依存している。 我々は、好みデータをクエリすることでモデルアライメントを向上させるアクティブな学習アルゴリズムである$textttAPO$を開発した。
  論文  参考訳（メタデータ） (2024-02-16T08:19:34Z)
• Reinforcement Learning from Human Feedback with Active Queries [67.27150911254155]
  現在の強化学習アプローチは、多くの場合、大量の人間による嗜好データを必要とする。 本稿では,能動学習の成功に触発されたクエリ効率の高いRLHF手法を提案する。 実験の結果,ADPOは人間の好みに対するクエリの約半分しか作成していないが,最先端のDPO法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T18:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。