Fugu-MT 論文翻訳(概要): The Alignment Ceiling: Objective Mismatch in Reinforcement Learning from Human Feedback

論文の概要: The Alignment Ceiling: Objective Mismatch in Reinforcement Learning from Human Feedback

arxiv url: http://arxiv.org/abs/2311.00168v1
Date: Tue, 31 Oct 2023 21:52:41 GMT
ステータス: 処理完了
システム内更新日: 2023-11-02 15:32:29.668205
Title: The Alignment Ceiling: Objective Mismatch in Reinforcement Learning from Human Feedback
Title（参考訳）: アライメント天井:人間フィードバックからの強化学習における客観的ミスマッチ
Authors: Nathan Lambert and Roberto Calandra
Abstract要約: 人間のフィードバックからの強化学習(RLHF)は、大規模言語モデル(LLM)が複雑な環境下でより促進し、より有能にするための強力なテクニックとして登場した。本稿では,本問題の原因を概説し,モデルに基づく強化学習から関連する文献をレビューし,さらなる研究を促進するための関連する解決策について議論する。
参考スコア（独自算出の注目度）: 5.037876196534672
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning from human feedback (RLHF) has emerged as a powerful technique to make large language models (LLMs) easier to prompt and more capable in complex settings. RLHF at its core is providing a new toolkit to optimize LLMs other than next-token prediction, enabling the integration of qualitative training goals. The attempted match between user preferences and downstream performance, which happens in a learned reward model, results in an optimization landscape where training and evaluation metrics can appear correlated. The apparent correlation can lead to unexpected behaviors and stories of "too much RLHF." In RLHF, challenges emerge because the following sub-modules are not consistent with each other: the reward model training, the policy model training, and the policy model evaluation. This mismatch results in models that sometimes avoid user requests for false safety flags, are difficult to steer to an intended characteristic, or always answer in a specific style. As chat model evaluation becomes increasingly nuanced, the reliance on a perceived link between reward model score and downstream performance drives the objective mismatch issue. In this paper, we illustrate the cause of this issue, reviewing relevant literature from model-based reinforcement learning, and discuss relevant solutions to encourage further research. By solving objective mismatch in RLHF, the LLMs of the future will be more precisely aligned to user instructions for both safety and helpfulness.
Abstract（参考訳）: ヒューマンフィードバック(rlhf)からの強化学習は、複雑な設定で大規模言語モデル(llm)を簡単に促し、より能力を高めるための強力な技術として出現した。コアとなるRLHFは、次のトーケン予測以外のLSMを最適化するための新しいツールキットを提供し、質的なトレーニング目標の統合を可能にする。学習した報酬モデルで発生するユーザの好みとダウンストリームのパフォーマンスの一致を試みた結果、トレーニングと評価のメトリクスが相関して現れる最適化環境が生まれる。明らかな相関は、予期せぬ行動や「あまりに多くのRLHF」の物語につながる可能性がある。 rlhfでは、報酬モデルのトレーニング、ポリシーモデルのトレーニング、ポリシーモデルの評価など、以下のサブモジュールが互いに一貫性がないため、課題が発生する。このミスマッチは、時に偽の安全フラグに対するユーザの要求を回避したり、意図した特徴に注意を向けたり、常に特定のスタイルで答えることが難しいモデルをもたらす。チャットモデルの評価がニュアンスを増すにつれて、報酬モデルスコアと下流のパフォーマンスの相関が客観的なミスマッチ問題を引き起こす。本稿では,本問題の原因を概説し,モデルに基づく強化学習から関連する文献をレビューし,さらなる研究を促進するための関連する解決策について議論する。 RLHFにおける客観的ミスマッチの解決により、将来のLCMは、安全性と有用性の両方のために、より正確にユーザ指示に適合する。

関連論文リスト

How to Evaluate Reward Models for RLHF [51.31240621943791]
我々は、RLHF(Reinforcement Learning from Human Feedback)を通して強力な言語モデルを生成する能力を定量化する報酬モデルのための新しいベンチマークを導入する。我々は,プロキシタスクの報酬モデルを評価することにより,下流LLM性能の予測モデルを構築した。大規模クラウドソースによる人選好プラットフォーム上でのエンドツーエンドのRLHF実験をローンチした。
論文参考訳（メタデータ） (2024-10-18T21:38:21Z)
RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
論文参考訳（メタデータ） (2024-03-20T17:49:54Z)
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble [67.4269821365504]
人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、大きな言語モデルと人間の価値を整合させる手法として広く採用されている。しかし、RLHFは限られた量の人間の嗜好データで訓練された報酬モデルに依存している。報奨モデルによりより正確な予測が可能となる報奨アンサンブル法を提案する。
論文参考訳（メタデータ） (2024-01-30T00:17:37Z)
Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF [79.98542868281471]
強化学習(Reinforcement Learning from Human Feedback, RLHF)は、言語モデルを人間中心の値と密接に整合させる手法である。学習した報奨モデルに対して過度に最適化すると、最終的には真の目的が損なわれることが観察された。本稿では、これらの問題を考察し、「Iterative Data Smoothing」(IDS)と呼ばれる改良された報酬学習アルゴリズムの設計に理論的知見を活用する。
論文参考訳（メタデータ） (2024-01-29T17:43:42Z)
Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文参考訳（メタデータ） (2024-01-11T17:56:59Z)
SuperHF: Supervised Iterative Learning from Human Feedback [20.22920163075946]
我々は,大規模言語モデル,Supervised Fine-Tuning (SFT) とReinforcement Learning from Human Feedback (RLHF) の2つの一般的な手法に着目した。両手法の強みを生かした新しい手法であるSupervised Iterative Learning from Human Feedback (SuperHF)を提案する。実験の結果,SuperHF は PPO ベースの RLHF を超え,高い報酬を低報酬ハッキングで容易にかつ好意的に取り除き,下流校正を改善し,GPT-4 ベースの定性評価スキームでも同様に実施し,実装は極めて簡単であった。
論文参考訳（メタデータ） (2023-10-25T16:52:00Z)
The History and Risks of Reinforcement Learning and Human Feedback [0.16843915833103415]
人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデルをより使いやすく、より効果的にするための強力なテクニックとして登場した。 RLHFプロセスの中核は、最適化のための報酬関数として機能する人間の好みのモデルのトレーニングと利用である。 RLHF報酬モデルはしばしばパフォーマンスの達成の中心として言及されるが、能力、評価、トレーニング方法、オープンソースのモデルに関する記述はごくわずかである。
論文参考訳（メタデータ） (2023-10-20T15:45:16Z)
RRHF: Rank Responses to Align Language Models with Human Feedback without tears [69.68672043223249]
InstructGPTは、SFT(Supervised Fine-Tuning)、報酬モデルトレーニング、PPO(Proximal Policy Optimization)など、いくつかの段階を通じてRLHFを実装している。本稿では,条件付き確率の対数を用いて,異なるソースからのサンプル応答をスコアするRRHFという新しい学習パラダイムを提案する。我々は、Helpful and Harmlessデータセット上でRRHFを評価し、報酬モデルスコアと人間ラベルによるPPOと同等のアライメント性能を示す。
論文参考訳（メタデータ） (2023-04-11T15:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。