論文の概要: RMB: Reward Model Boosting Mitigates Reward Hacking

• arxiv url: http://arxiv.org/abs/2609.33221v1
• Date: Sun, 27 Sep 2026 05:03:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:05:33.532324
• Title: RMB: Reward Model Boosting Mitigates Reward Hacking
• Title（参考訳）: RMB:リワードモデル強化でリワードハッキングを軽減
• Abstract要約: ヒューマンフィードバックからの強化学習(Reinforcement Learning from Human Feedback)は、大きな言語モデルと人間の好みを整合させる技術である。 ポリシーの最適化がプロキシの報酬モデルを改善するという、報酬のハッキング問題に悩まされることが多い。 本稿では,RLHF に対する報酬信号の堅牢性と信頼性を高める新しい手法である Reward Model Boosting (RMB) を提案する。
• 参考スコア（独自算出の注目度）: 26.152198203272565
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement Learning from Human Feedback (RLHF) is a powerful technique for aligning large language models (LLMs) with human preference. However, it often suffers from the reward hacking issue, where policy optimization improves the proxy reward model while actually degrading performance with respect to the true human preference, due to the imperfection of the proxy. To address this, we propose Reward Model Boosting (RMB), a novel approach that enhances the robustness and reliability of the reward signal for RLHF. RMB first trains a set of reward models with a diversity-promoting regularizer. This encourages each model to learn complementary aspects of the reward landscape. Then, RMB learns a lightweight aggregator in the principle of boosting to aggregate the outputs of the diverse reward models into a more accurate and robust reward signal. Our extensive experiments demonstrate that RMB significantly improves reward accuracy on both in-distribution and out-of-distribution datasets, substantially mitigating the reward hacking issue and ultimately improving RLHF performance.
• Abstract（参考訳）: RLHF(Reinforcement Learning from Human Feedback)は、大規模言語モデル(LLM)を人間の好みに合わせるための強力な手法である。 しかし、プライバシ最適化がプロキシの不完全なため、真の人間の嗜好に対して実際に性能を低下させながら、プロキシ報酬モデルを改善するという、報酬ハッキングの問題に悩まされることが多い。 そこで本稿では,RLHF に対する報酬信号の堅牢性と信頼性を高める新しい手法である Reward Model Boosting (RMB) を提案する。 RMBはまず、多様性を促進する正規化器で報酬モデルのセットを訓練する。 これにより、各モデルは報酬のランドスケープの相補的な側面を学ぶことができる。 そして、RMBは、様々な報酬モデルの出力をより正確で堅牢な報酬信号に集約する原理で軽量なアグリゲータを学習する。 我々の広範な実験により、RMBは分配内および分配外の両方で報酬精度を著しく向上し、報酬ハッキング問題を著しく軽減し、最終的にRLHF性能を向上することが示された。

関連論文リスト

• Pareto-Guided Optimal Transport for Multi-Reward Alignment [59.776579791864805]
  我々は、不均一な報酬上限の下で、統一されたグローバルターゲットに対して最適化する方法を示す。 我々は、様々な報酬信号特性に合わせたオンラインとオフラインの最適化戦略を開発した。 提案手法は, 関節支配率(JDR)が11%向上し, 人体評価において約80%の勝利率を達成した。
  論文  参考訳（メタデータ） (2026-05-13T08:19:48Z)
• Upcycled and Merged MoE Reward Model for Mitigating Reward Hacking [0.0]
  本稿では,RLHF報酬モデルのロバスト性および効率性を向上させるために,MoE報酬モデルとアップサイクルとマージする手法を提案する。 我々の研究は、RLHF報酬モデルのロバスト性および効率性を改善するために、MoE構造をアップサイクルとマージする可能性を強調した。
  論文  参考訳（メタデータ） (2025-11-30T04:36:37Z)
• Cooper: Co-Optimizing Policy and Reward Models in Reinforcement Learning for Large Language Models [28.542061921495353]
  モデルベースの報酬とルールベースの報酬の2つの主要な報酬パラダイムがある。 ルールベースの報酬には堅牢性がないのに対して、モデルベースの報酬はハッキングに対する報酬に対して脆弱である。 政策モデルと報酬モデルの両方を共同で最適化するRLフレームワークであるCooperを提案する。 我々の実験によると、Cooperは報酬ハッキングを緩和するだけでなく、例えばQwen2.5-1.5B-Instructの平均精度で0.54%向上するエンド・ツー・エンドのRL性能も改善している。
  論文  参考訳（メタデータ） (2025-08-07T17:53:56Z)
• Adversarial Training of Reward Models [74.17196154247964]
  本稿では,対戦型学習フレームワークAdv-RMについて紹介する。 強化学習を活用することで、Adv-RMは、大規模な最先端の報酬モデルにおける脆弱性を明らかにするポリシーを訓練する。 本稿では,Adv-RMが従来の報酬訓練よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-08T15:38:25Z)
• Probabilistic Uncertain Reward Model [27.40414952747553]
  本稿では、優先データから生じる報酬分布を学習するための確率的不確実リワードモデル(PURM)を提案する。 PURMは従来の手法よりも精度が高く,不確実性も高いことを示す。
  論文  参考訳（メタデータ） (2025-03-28T14:39:52Z)
• Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems [54.4392552373835]
  リワードモデル(RM)は、大規模言語モデル(LLM)のトレーニングと推論時間のスケールアップに不可欠である 本稿では,報酬モデルと検証可能な正当性信号を組み合わせた報酬システムであるエージェント報酬モデルを提案する。 我々は,既存の報奨モデルベンチマークと実世界の下流タスクのベスト・オブ・n検索に関する総合的な実験を行う。
  論文  参考訳（メタデータ） (2025-02-26T17:19:12Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。