論文の概要: RRHF: Rank Responses to Align Language Models with Human Feedback without tears

• arxiv url: http://arxiv.org/abs/2304.05302v1
• Date: Tue, 11 Apr 2023 15:53:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:16:11.157727
• Title: RRHF: Rank Responses to Align Language Models with Human Feedback without tears
• Title（参考訳）: RRHF:涙のない人間のフィードバックを伴う言語モデルに対するランク応答
• Authors: Zheng Yuan, Hongyi Yuan, Chuanqi Tan, Wei Wang, Songfang Huang, Fei Huang
• Abstract要約: InstructGPTはいくつかの段階を通じてRLHFを実装しており、その中にはSupervised Fine-Tuning (SFT)、報酬モデルトレーニング、PPO (Proximal Policy Optimization) などがある。 本稿では、異なるサンプリングポリシーによって生成された応答をスコアリングし、ランキングの喪失によってそれらを人間の好みに合わせることを学習するRRHFという新しい学習パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 51.061795026749806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning from Human Feedback (RLHF) facilitates the alignment of large language models with human preferences, significantly enhancing the quality of interactions between humans and these models. InstructGPT implements RLHF through several stages, including Supervised Fine-Tuning (SFT), reward model training, and Proximal Policy Optimization (PPO). PPO, however, is sensitive to hyperparameters and requires a minimum of four models in its standard implementation, which makes it hard to train. In contrast, we propose a novel learning paradigm called RRHF, which scores responses generated by different sampling policies and learns to align them with human preferences through ranking loss. RRHF can efficiently align language model output probabilities with human preferences as robust as fine-tuning and it only needs 1 to 2 models during tuning. In addition, RRHF can be considered an extension of SFT and reward models while being simpler than PPO in terms of coding, model counts, and hyperparameters. The entire alignment process can be accomplished within a single RRHF training session. We evaluate RRHF using LLaMA and Alpaca on Helpful and Harmless data, demonstrating performance comparable to PPO.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF)は、大きな言語モデルと人間の嗜好の一致を促進し、人間とこれらのモデルの相互作用の質を大幅に向上させる。 InstructGPTは、Supervised Fine-Tuning (SFT)、報酬モデルトレーニング、PPO(Proximal Policy Optimization)など、いくつかの段階を通じてRLHFを実装している。 しかし、PPOはハイパーパラメータに敏感であり、標準実装では最低4つのモデルを必要とするため、トレーニングは困難である。 対照的にRRHFと呼ばれる新しい学習パラダイムは、異なるサンプリングポリシーによって生成された応答をスコアリングし、ランキングの喪失を通じてそれらを人間の好みに合わせることを学習する。 RRHFは、言語モデルの出力確率を微調整と同じくらい頑健で、チューニング中に1～2モデルしか必要としない。 さらに、RRHFは、コーディング、モデルカウント、ハイパーパラメータの点でPPOよりも単純でありながら、SFTおよび報酬モデルの拡張と見なすことができる。 すべてのアライメントプロセスは、単一のrrhfトレーニングセッションで完了することができる。 我々はLLaMAとAlpacaを用いたRRHFをHelpfulとHarmlessのデータ上で評価し,PPOに匹敵する性能を示した。

関連論文リスト

• Self-Evolved Reward Learning for LLMs [45.6910747154447]
  RLHF(Reinforcement Learning from Human Feedback)は、言語モデルと人間の嗜好を整合させる重要な手法である。 本稿では、RMが反復的に自己改善するための追加のトレーニングデータを生成する新しいアプローチである自己進化リワード学習(SER:Self-Evolved Reward Learning)を提案する。 以上の結果から,人間による注釈付きデータであっても,自己フィードバックから学習することで,RM性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-01T07:29:03Z)
• Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF [82.7679132059169]
  人間のフィードバックから強化学習が言語モデルのアライメントのための中心的なツールとして登場した。 我々は、RLHFにおけるオンライン探索のための新しいアルゴリズム、Exploratory Preference Optimization (XPO)を提案する。 XPOは証明可能な最強の保証と有望な経験的パフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2024-05-31T17:39:06Z)
• Provable Multi-Party Reinforcement Learning with Diverse Human Feedback [63.830731470186855]
  RLHF(Reinforcement Learning with Human feedback)は、モデルと人間の好みを結びつける新しいパラダイムである。 一つの報酬関数を学習しても、複数の個人の好みを捉えバランスが取れないので、従来のRLHFアプローチが失敗する可能性があることを示す。 メタラーニングを取り入れて、複数の嗜好を学習し、異なる社会福祉機能を採用して、複数のパーティにまたがる嗜好を集約する。
  論文  参考訳（メタデータ） (2024-03-08T03:05:11Z)
• Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble [67.4269821365504]
  人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、大きな言語モデルと人間の価値を整合させる手法として広く採用されている。 しかし、RLHFは限られた量の人間の嗜好データで訓練された報酬モデルに依存している。 報奨モデルによりより正確な予測が可能となる報奨アンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T00:17:37Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• The Alignment Ceiling: Objective Mismatch in Reinforcement Learning from Human Feedback [5.037876196534672]
  人間のフィードバックからの強化学習(RLHF)は、複雑な環境で大きな言語モデル(LLM)をより有効にするための強力な技術として登場した。 本稿では,本問題の原因を概説し,モデルに基づく強化学習から関連する文献をレビューし,解決策について議論する。
  論文  参考訳（メタデータ） (2023-10-31T21:52:41Z)
• SuperHF: Supervised Iterative Learning from Human Feedback [20.22920163075946]
  我々は,大規模言語モデル,Supervised Fine-Tuning (SFT) とReinforcement Learning from Human Feedback (RLHF) の2つの一般的な手法に着目した。 両手法の強みを生かした新しい手法であるSupervised Iterative Learning from Human Feedback (SuperHF)を提案する。 実験の結果,SuperHF は PPO ベースの RLHF を超え,高い報酬を低報酬ハッキングで容易にかつ好意的に取り除き,下流校正を改善し,GPT-4 ベースの定性評価スキームでも同様に実施し,実装は極めて簡単であった。
  論文  参考訳（メタデータ） (2023-10-25T16:52:00Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• SLiC-HF: Sequence Likelihood Calibration with Human Feedback [35.74135968442311]
  最近導入されたSequence Likelihood(SLiC)は、人間の嗜好から効果的に学習できることを示す。 TL;DR要約タスクの実験により、SLiC-HFは教師付き微調整ベースラインを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-05-17T17:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。