論文の概要: REINFORCE++: A Simple and Efficient Approach for Aligning Large Language Models

• arxiv url: http://arxiv.org/abs/2501.03262v1
• Date: Sat, 04 Jan 2025 02:08:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:37.660387
• Title: REINFORCE++: A Simple and Efficient Approach for Aligning Large Language Models
• Title（参考訳）: REINFORCE++: 大規模言語モデルを適応するためのシンプルで効率的なアプローチ
• Authors: Jian Hu,
• Abstract要約: 本稿では,従来のREINFORCEアルゴリズムの拡張版であるREINFORCE++について述べる。 ReINFORCE++は、(1)単純さ、(2)訓練安定性の強化、(3)計算オーバーヘッドの削減の3つの主な目的を達成する。
• 参考スコア（独自算出の注目度）: 2.9668561417979356
• License:
• Abstract: Reinforcement Learning from Human Feedback (RLHF) has emerged as a critical approach for aligning large language models with human preferences, witnessing rapid algorithmic evolution through methods such as Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO), REINFORCE Leave One-Out (RLOO), ReMax, and Group Relative Policy Optimization (GRPO). We present REINFORCE++, an enhanced variant of the classical REINFORCE algorithm that incorporates key optimization techniques from PPO while eliminating the need for a critic network. REINFORCE++ achieves three primary objectives: (1) simplicity (2) enhanced training stability, and (3) reduced computational overhead. Through extensive empirical evaluation, we demonstrate that REINFORCE++ exhibits superior stability compared to GRPO and achieves greater computational efficiency than PPO while maintaining comparable performance. The implementation is available at \url{https://github.com/OpenRLHF/OpenRLHF}.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF) は、大規模言語モデルと人間の嗜好を整合させる重要なアプローチとして現れ、PPO(Proximal Policy Optimization)、DPO(Direct Preference Optimization)、RLOO(ReINFORCE Leave One-Out)、ReMax(ReMax)、GRPO(Group Relative Policy Optimization)といった手法による迅速なアルゴリズム進化を目撃している。 本稿では,従来のREINFORCEアルゴリズムの拡張版であるREINFORCE++について述べる。 ReINFORCE++は、(1)単純さ、(2)訓練安定性の強化、(3)計算オーバーヘッドの削減の3つの主な目的を達成する。 実験的な評価により,REINFORCE++はGRPOよりも優れた安定性を示し,PPOよりも高い計算効率を実現するとともに,同等の性能を維持していることを示す。 実装は \url{https://github.com/OpenRLHF/OpenRLHF} で公開されている。

関連論文リスト

• Graph-attention-based Casual Discovery with Trust Region-navigated Clipping Policy Optimization [13.75709067982844]
  因果発見のための信頼領域探索型クリッピングポリシー最適化手法を提案する。 また、SDGATと呼ばれる改良されたグラフアテンションエンコーダを提案し、効率よく変数を符号化する。 これらの改善により、提案手法は、合成データセットとベンチマークデータセットの両方において、以前のRL法よりも優れている。
  論文  参考訳（メタデータ） (2024-12-27T10:50:43Z)
• Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。 直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。 本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T18:51:01Z)
• Minor DPO reject penalty to increase training robustness [8.971332948872185]
  人間の嗜好からの学習は、ダウンストリームタスクにおいて、事前学習されたLLMを人間の嗜好に合わせるために、大規模言語モデル(LLM)の微調整ステップで使用されるパラダイムである。 近年,簡易なRLフリー手法でアライメント問題を解決するために,DPO(Direct Preference Optimization)が提案されている。 本稿では、DPOにおける$beta$の動作メカニズムを分析し、RLアルゴリズムとDPOの構文差を明らかにし、DPOの単純化による潜在的な不足について理解する。
  論文  参考訳（メタデータ） (2024-08-19T09:29:31Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs [29.505270680223003]
  ヒューマンフィードバックからの強化学習の形でのAIアライメントは、ハイパフォーマンスな大規模言語モデルにとって重要な要素として扱われている。 近年,RLHF の RL 部分の正準法としてPPO ( Proximal Policy Optimization) が位置づけられている。 PPO の多くのコンポーネントは RLHF の文脈では不要であり、より単純な REINFORCE スタイルの最適化は PPO と DPO や RAFT のような新たに提案された "RL-free" 手法の両方より優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-22T17:52:34Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Preference as Reward, Maximum Preference Optimization with Importance Sampling [3.7040071165219595]
  我々は、重要サンプリングの観点から、単純で直感的な非政治的選好最適化アルゴリズムを提案し、これを最大選好最適化(MPO)と呼ぶ。 MPOは、RLHFとIPOの目的を、独占的アルゴリズムであると同時に組み合わせることで、両方の世界のベストを達成している。
  論文  参考訳（メタデータ） (2023-12-27T06:34:54Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。