論文の概要: Bayesian Reward Models for LLM Alignment

• arxiv url: http://arxiv.org/abs/2402.13210v2
• Date: Wed, 3 Jul 2024 00:23:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 20:04:00.457670
• Title: Bayesian Reward Models for LLM Alignment
• Title（参考訳）: LLMアライメントのベイズ回帰モデル
• Authors: Adam X. Yang, Maxime Robeyns, Thomas Coste, Zhengyan Shi, Jun Wang, Haitham Bou-Ammar, Laurence Aitchison,
• Abstract要約: 我々は、トレーニングデータ分布からより高い不確実性を示すベイズ報酬モデルを訓練する。 得られた不確実性推定は,BoNサンプリングにおける報酬過小評価を効果的に軽減できることがわかった。
• 参考スコア（独自算出の注目度）: 26.612181012468167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To ensure that large language model (LLM) responses are helpful and non-toxic, a reward model trained on human preference data is usually used. LLM responses with high rewards are then selected through best-of-$n$ (BoN) sampling or the LLM is further optimized to produce responses with high rewards through reinforcement learning from human feedback (RLHF). However, these processes are susceptible to reward overoptimization or `hacking', where responses receive high rewards due to imperfections in the reward model rather than true preference, particularly as prompts or responses deviate from the training data. To address these challenges, we propose to train a Bayesian reward model, which signals higher uncertainty further from the training data distribution. We trained Bayesian reward models using Laplace approximation on LoRA weights, and found that the resulting uncertainty estimates can effectively mitigate reward overoptimization in BoN sampling.
• Abstract（参考訳）: 大規模言語モデル(LLM)応答が有用で有害であることを保証するため、人間の嗜好データに基づいてトレーニングされた報酬モデルが一般的に使用される。 高い報酬を持つLLM応答は、ベスト・オブ・n$(BoN)サンプリングによって選択されるか、あるいは人間のフィードバック(RLHF)からの強化学習によって高い報酬を持つ応答を生成するよう、LLMはさらに最適化される。 しかし、これらのプロセスは、特にトレーニングデータから逸脱したプロンプトや応答として、真の嗜好よりも報酬モデルに欠陥があるため、報酬の過度な最適化や「ハック」を受けやすい。 これらの課題に対処するために、トレーニングデータ分布からより高い不確実性を示すベイズ報酬モデルをトレーニングすることを提案する。 我々は,LoRA重みに対するLaplace近似を用いてベイズ報酬モデルを訓練し,結果の不確実性推定により,BoNサンプリングにおける報酬過小評価を効果的に軽減できることを示した。

関連論文リスト

• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Improving Reinforcement Learning from Human Feedback Using Contrastive Rewards [26.40009657912622]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせるために使われる主流パラダイムである。 しかし、既存のRLHFは、様々な情報源からのノイズに対して脆弱で敏感な正確で情報的な報酬モデルに大きく依存している。 本研究では,報酬に対するペナルティ項を導入することで,報酬モデルの有効性を向上する。
  論文  参考訳（メタデータ） (2024-03-12T14:51:57Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble [67.4269821365504]
  人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、大きな言語モデルと人間の価値を整合させる手法として広く採用されている。 しかし、RLHFは限られた量の人間の嗜好データで訓練された報酬モデルに依存している。 報奨モデルによりより正確な予測が可能となる報奨アンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T00:17:37Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Data Driven Reward Initialization for Preference based Reinforcement Learning [20.13307800821161]
  選好に基づく強化学習(PbRL)法は、ループ内の人間からの2進フィードバック(HiL)をクエリされた軌道対上で利用し、報酬モデルを学ぶ。 実験のランダムな種に敏感な報酬モデルにおける高い変動性の問題について検討する。
  論文  参考訳（メタデータ） (2023-02-17T07:07:07Z)
• Scaling Laws for Reward Model Overoptimization [19.93331579503503]
  我々は,ゴールド報酬モデルが,強化学習とベスト・オブ・n$サンプリングのどちらを用いて,プロキシ報酬モデルに対して最適化する際にどのようにスコアが変化するかを検討する。 また、報酬モデルデータセットのサイズ、報酬モデルと政策パラメータの数、および強化学習における報酬に付加されるKLペナルティの係数との関係について検討した。
  論文  参考訳（メタデータ） (2022-10-19T17:56:10Z)
• Handling Sparse Rewards in Reinforcement Learning Using Model Predictive Control [9.118706387430883]
  強化学習(RL)は近年,様々な分野で大きな成功を収めている。 しかし、報酬関数の設計には、エージェントが望ましい振る舞いを学べるように、詳細なドメインの専門知識と面倒な微調整が必要である。 本稿では,スパース報酬環境におけるRLエージェントのトレーニング経験源として,モデル予測制御(MPC)を提案する。
  論文  参考訳（メタデータ） (2022-10-04T11:06:38Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。