論文の概要: Unified Preference Optimization: Language Model Alignment Beyond the Preference Frontier

• arxiv url: http://arxiv.org/abs/2405.17956v3
• Date: Mon, 31 Mar 2025 17:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-02 14:12:46.751957
• Title: Unified Preference Optimization: Language Model Alignment Beyond the Preference Frontier
• Title（参考訳）: Unified Preference Optimization: 優先順位フロンティアを越えた言語モデルアライメント
• Authors: Anirudhan Badrinath, Prabhat Agarwal, Jiajing Xu,
• Abstract要約: 大規模言語モデル(LLM)の整合化のための統一的アプローチを提案する。 好みと補助目的の単純な分解に基づいて、ユーザとデザイナーの好みを最適化するためにLLMをチューニングできる。
• 参考スコア（独自算出の注目度）: 0.5120567378386615
• License:
• Abstract: For aligning large language models (LLMs), prior work has leveraged reinforcement learning via human feedback (RLHF) or variations of direct preference optimization (DPO). While DPO offers a simpler framework based on maximum likelihood estimation, it compromises on the ability to easily tune language models to maximize auxiliary, non-preferential objectives according to the LLM designer's preferences (e.g., tuning lexical style or minimizing specific kinds of harmful content). Critically, these designer objectives may not be amply human-labeled or represented in available data, align with user preferences, or even be able to be captured tractably by binary preference pairs. To leverage the simplicity and performance of DPO with the generality of RL, we propose a unified approach. Based on a simple decomposition of preference and auxiliary objectives, we allow for tuning LLMs to optimize user and designer preferences without any additional specialized or preference data, computational cost, stability ``tweaks'', or training instability. The proposed method, Unified Preference Optimization, shows the ability to effectively generalize to user preferences and auxiliary objectives, while preserving or surpassing alignment performance on challenging benchmarks across a range of model sizes.
• Abstract（参考訳）: 大規模言語モデル(LLM)の整合性を確保するため、先行研究は人間フィードバック(RLHF)や直接選好最適化(DPO)による強化学習を活用している。 DPOは最大推定値に基づいてシンプルなフレームワークを提供するが、LLMデザイナの好み(語彙スタイルのチューニング、特定の有害なコンテンツの最小化など)に応じて、補助的かつ非優先的な目的を最大限にするために言語モデルをチューニングする能力に妥協する。 批判的に言えば、これらのデザイナの目標は、十分に人間にラベル付けされたり、利用可能なデータで表現されたり、ユーザの好みに合わせたり、バイナリの好みのペアによって引き離されたりすることさえできない。 本稿では,DPOの単純さと性能をRLの一般性に活かすため,統一的なアプローチを提案する。 好みと補助的目的の単純な分解に基づいて、LLMを調整して、特別なデータや好みデータ、計算コスト、安定性の「ツワック」やトレーニング不安定性なしに、ユーザーやデザイナーの好みを最適化することができる。 提案手法であるUnified Preference Optimizationは,様々なモデルサイズでアライメント性能を保ちながら,ユーザの嗜好や補助目的を効果的に一般化する能力を示す。

関連論文リスト

• Cal-DPO: Calibrated Direct Preference Optimization for Language Model Alignment [19.02679077706812]
  大規模言語モデルと人間の嗜好データとの整合性について検討する。 我々は、単純で効果的なアルゴリズムである直接選好最適化(Cal-DPO)を提案する。 各種標準ベンチマーク実験の結果,Cal-DPOは市販の手法を著しく改善することが示された。
  論文  参考訳（メタデータ） (2024-12-19T04:31:56Z)
• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。 直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。 本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T18:51:01Z)
• Minor DPO reject penalty to increase training robustness [8.971332948872185]
  人間の嗜好からの学習は、ダウンストリームタスクにおいて、事前学習されたLLMを人間の嗜好に合わせるために、大規模言語モデル(LLM)の微調整ステップで使用されるパラダイムである。 近年,簡易なRLフリー手法でアライメント問題を解決するために,DPO(Direct Preference Optimization)が提案されている。 本稿では、DPOにおける$beta$の動作メカニズムを分析し、RLアルゴリズムとDPOの構文差を明らかにし、DPOの単純化による潜在的な不足について理解する。
  論文  参考訳（メタデータ） (2024-08-19T09:29:31Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Statistical Rejection Sampling Improves Preference Optimization [42.57245965632205]
  提案手法は,リジェクションサンプリングを用いた最適ポリシーからのソース選好データに対する新しいアプローチを提案する。 また、嗜好モデルの観点から、SLiC(Sequence Likelihood)とDPO(Direct Preference Optimization)の両方で使用される損失関数を強化する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-13T01:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。