論文の概要: Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy

• arxiv url: http://arxiv.org/abs/2403.04283v1
• Date: Thu, 7 Mar 2024 07:31:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 14:57:50.769556
• Title: Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy
• Title（参考訳）: Proxy-RLHF: Proxyを用いた大規模言語モデルにおけるデカップリング生成とアライメント
• Authors: Yu Zhu, Chuxiong Sun, Wenfei Yang, Wenqiang Wei, Bo Tang, Tianzhu Zhang, Zhiyu Li, Shifeng Zhang, Feiyu Xiong, Jie Hu, Mingchuan yang
• Abstract要約: Reinforcement Learning from Human Feedback (RLHF) は、Large Language Models (LLM) が人間の価値と一致することを確実にするための一般的なアプローチである。 本稿では,LLMの生成とアライメントを分離するProxy-RLHFを紹介する。 本手法は他の手法のトレーニングパラメータの1%に匹敵するアライメントのレベルを達成する。
• 参考スコア（独自算出の注目度）: 47.327200425168314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning from Human Feedback (RLHF) is the prevailing approach to ensure Large Language Models (LLMs) align with human values. However, existing RLHF methods require a high computational cost, one main reason being that RLHF assigns both the generation and alignment tasks to the LLM simultaneously. In this paper, we introduce Proxy-RLHF, which decouples the generation and alignment processes of LLMs, achieving alignment with human values at a much lower computational cost. We start with a novel Markov Decision Process (MDP) designed for the alignment process and employ Reinforcement Learning (RL) to train a streamlined proxy model that oversees the token generation of the LLM, without altering the LLM itself. Experiments show that our method achieves a comparable level of alignment with only 1\% of the training parameters of other methods.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF) は、Large Language Models (LLM) が人間の価値と一致することを確実にするための一般的なアプローチである。 しかし、既存のRLHF法は高い計算コストを必要とするため、RLHFは生成タスクとアライメントタスクを同時にLLMに割り当てる。 本稿では,LLMの生成とアライメントを分離するProxy-RLHFを提案する。 我々は、アライメントプロセス用に設計された新しいマルコフ決定プロセス(MDP)から始まり、強化学習(RL)を用いてLLM自体を変更することなく、LLMのトークン生成を監督する合理化されたプロキシモデルを訓練する。 実験により,本手法は他の手法のトレーニングパラメータの1\%と同等のアライメントが得られることがわかった。

関連論文リスト

• SAIL: Self-Improving Efficient Online Alignment of Large Language Models [56.59644677997827]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための重要な方法である。 近年の文献では、オンラインRLHF法の設計に焦点が当てられているが、統一された概念的定式化はいまだに欠けている。 提案手法は,計算オーバーヘッドを最小限に抑えたオープンソースデータセットのアライメント性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-21T18:05:35Z)
• ReaLHF: Optimized RLHF Training for Large Language Models through Parameter Reallocation [12.321332446941378]
  Reinforcement Learning from Human Feedback (RLHF)は、大規模言語モデル(LLM)アプリケーションを強化するための重要なテクニックである。 本稿では,LLMパラメータをクラスタ内で動的に再分割するパラメータReaLlocationを提案する。 本稿では、RLHFトレーニングのための効率的な実行計画を自動的に発見・実行できる先駆的なシステムであるReaLHFを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T08:04:07Z)
• Joint Demonstration and Preference Learning Improves Policy Alignment with Human Feedback [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• Mixed Preference Optimization: Reinforcement Learning with Data Selection and Better Reference Model [3.300814846990438]
  大きな言語モデル(LLM)は、自然言語の処理と生成能力によって、ますます人気が高まっている。 大量のテキストのデータセットでトレーニングされているため、LLMは有害なバイアスを継承し、人間の値と一致しない出力を生成することができる。 本稿では,人間フィードバックを用いた強化学習(RLHF)と直接選好最適化(DPO)のような対照的な学習手法の2つのLLMアライメントについて検討する。 RLHFとDPOの安定性とロバスト性を解析することにより,両手法の弱点を緩和する新しい手法MPOを提案する。
  論文  参考訳（メタデータ） (2024-03-28T14:15:10Z)
• TeaMs-RL: Teaching LLMs to Generate Better Instruction Datasets via Reinforcement Learning [7.9961739811640244]
  大規模言語モデルの開発は、人間のアノテーションに大きく依存することによる課題に直面することが多い。 この作業では、強化学習(Reinforcement Learning)へと方向転換します。 我々はRLを用いて、微調整だけで十分である基礎的な命令データセットを直接生成する。
  論文  参考訳（メタデータ） (2024-03-13T16:57:57Z)
• Teaching Large Language Models to Reason with Reinforcement Learning [38.17625148525193]
  人間のフィードバックからの強化学習(textbfRLHF)は、LLM出力と人間の嗜好を整合させる主要なアプローチとして現れている。 RLHFの成功に触発され,フィードバックから学習する複数のアルゴリズムの性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T16:36:29Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Reinforced Self-Training (ReST) for Language Modeling [56.75447441157628]
  人間からのフィードバック(RLHF)からの強化学習は、人間の好みに合わせることで、大きな言語モデル(LLM)の出力の品質を向上させることができる。 強化自己学習(Reinforced Self-Training, ReST)と呼ばれる, バッチ強化学習(RL)の成長にインスパイアされたLLMを人間の好みに合わせるための簡単なアルゴリズムを提案する。 この結果から,ReSTは自動測定値と機械翻訳ベンチマークの人的評価によって,計算とサンプル効率で翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-08-17T14:12:48Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。