論文の概要: Back to Basics: Revisiting REINFORCE Style Optimization for Learning
from Human Feedback in LLMs
- arxiv url: http://arxiv.org/abs/2402.14740v1
- Date: Thu, 22 Feb 2024 17:52:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 14:13:19.410631
- Title: Back to Basics: Revisiting REINFORCE Style Optimization for Learning
from Human Feedback in LLMs
- Title(参考訳): Back to Basics: LLMにおける人間のフィードバックから学ぶためにReINFORCEスタイルの最適化を再考
- Authors: Arash Ahmadian, Chris Cremer, Matthias Gall\'e, Marzieh Fadaee, Julia
Kreutzer, Ahmet \"Ust\"un, Sara Hooker
- Abstract要約: ヒューマンフィードバックからの強化学習の形でのAIアライメントは、ハイパフォーマンスな大規模言語モデルにとって重要な要素として扱われている。
PPO の多くのコンポーネントは RLHF の文脈では不要であり、より単純な REINFORCE スタイルの最適化は PPO と DPO や RAFT のような新たに提案された "RL-free" 手法の両方より優れていることを示す。
- 参考スコア(独自算出の注目度): 13.183230341474257
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI alignment in the shape of Reinforcement Learning from Human Feedback
(RLHF) is increasingly treated as a crucial ingredient for high performance
large language models. \textsc{Proximal Policy Optimization} (PPO) has been
positioned by recent literature as the canonical method for the RL part of
RLHF. However, it involves both high computational cost and sensitive
hyperparameter tuning. We posit that most of the motivational principles that
led to the development of PPO are less of a practical concern in RLHF and
advocate for a less computationally expensive method that preserves and even
increases performance. We revisit the \textit{formulation} of alignment from
human preferences in the context of RL. Keeping simplicity as a guiding
principle, we show that many components of PPO are unnecessary in an RLHF
context and that far simpler REINFORCE-style optimization variants outperform
both PPO and newly proposed "RL-free" methods such as DPO and RAFT. Our work
suggests that careful adaptation to LLMs alignment characteristics enables
benefiting from online RL optimization at low cost.
- Abstract(参考訳): RLHF(Reinforcement Learning from Human Feedback)の形をしたAIアライメントは、ハイパフォーマンスな大規模言語モデルにとって重要な要素として扱われる。
ppo ( \textsc{proximal policy optimization}) は最近の文献でrlhfのrl部分の標準的手法として位置づけられている。
しかし、高い計算コストと敏感なハイパーパラメータチューニングの両方が伴う。
PPOの発展に繋がるモチベーションの原則のほとんどは、RLHFにおいて実践的な関心事ではなく、性能を保ち、さらに向上させる計算コストの低い手法を提唱している。
rl の文脈において、人間の好みからアライメントの \textit{formulation} を再検討する。
RLHF の文脈では PPO の多くのコンポーネントは不要であり、より単純なREINFORCE スタイルの最適化は PPO と DPO や RAFT のような新たに提案された "RL-free" 手法の両方より優れていることを示す。
llmsアライメント特性に対する注意深い適応は、低コストでオンラインrl最適化の利点を享受できることが示唆された。
関連論文リスト
- REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
REBELは、生成モデルの時代における最小限のRLアルゴリズムである。
政策最適化の問題を、直接的な政策パラメータ化による相対報酬の回帰に還元する。
我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
論文 参考訳(メタデータ) (2024-04-25T17:20:45Z) - Reinforcement Learning from Human Feedback with Active Queries [67.27150911254155]
現在の強化学習アプローチは、多くの場合、大量の人間による嗜好データを必要とする。
本稿では,能動学習の成功に触発されたクエリ効率の高いRLHF手法を提案する。
実験の結果,ADPOは人間の好みに対するクエリの約半分しか作成していないが,最先端のDPO法の性能と一致していることがわかった。
論文 参考訳(メタデータ) (2024-02-14T18:58:40Z) - Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。
まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。
有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-18T18:58:42Z) - Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。
CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
論文 参考訳(メタデータ) (2023-10-20T16:37:56Z) - Pairwise Proximal Policy Optimization: Harnessing Relative Feedback for
LLM Alignment [37.52249093928251]
本稿では,新しい枠組み,相対的フィードバックによる強化学習,新しい軌道方向ポリシー勾配アルゴリズムを提案する。
理論的には、P3Oは等価報酬に不変であり、PPOの複雑さを避ける。
実証的な評価では、P3OはKL-RewardトレードオフにおいてPPOよりも優れており、ヒトの嗜好に合わせたり、以前の方法よりも優れていることが示されている。
論文 参考訳(メタデータ) (2023-09-30T01:23:22Z) - Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。
人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。
本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
論文 参考訳(メタデータ) (2023-07-11T01:55:24Z) - A reinforcement learning strategy for p-adaptation in high order solvers [0.0]
強化学習(Reinforcement Learning, RL)は、意思決定プロセスを自動化するための有望なアプローチである。
本稿では,高次解法を用いる場合の計算メッシュの順序を最適化するためのRL手法の適用について検討する。
論文 参考訳(メタデータ) (2023-06-14T07:01:31Z) - Direct Preference Optimization: Your Language Model is Secretly a Reward
Model [126.78737228677025]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。
DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。
我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-29T17:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。