論文の概要: Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties

• arxiv url: http://arxiv.org/abs/2610.26496v2
• Date: Tue, 20 Oct 2026 22:14:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.066372
• Title: Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties
• Title（参考訳）: 先進的な罰則を伴う選好逆行モデルにおける逆行ハッキングの軽減
• Abstract要約: 我々は、ポリシートレーニング中に報酬のハッキングを緩和するDynalizeを紹介した。 提案手法は, 罰則を使わずにほとんどの応答に拡散する選好モデルによりインセンティブを得たパターンを抑圧する。
• 参考スコア（独自算出の注目度）: 9.539783673554242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning for language models has moved from preference reward models to verifiable rewards, which sustain much longer optimization. Preference models are prone to reward hacking: the policy raises their score without improving response quality, or even while degrading it. Yet for open-ended tasks, where quality can neither be verified nor fully written down as rubrics, they remain valuable. We introduce Dynalize, which mitigates reward hacking online, during policy training. Periodically and asynchronously, a language model analyzes training rollouts and writes penalties for undesirable behaviors that the reward model appears to reward; a judge applies them to every rollout. In clinical counseling and creative writing, training on the reward model alone raises its score continuously but ultimately leads to a decline in external benchmarks; Dynalize sustains longer training and results in improved downstream performance. We find that our method suppresses patterns incentivized by preference models that, without penalties, spread to most responses, and even to the model's reasoning, which the reward model does not explicitly score. Furthermore, we show that its gains hold in multi-turn training, and even after we retrain the reward model on the discovered behaviors.
• Abstract（参考訳）: 言語モデルの強化学習は、優先報酬モデルから検証可能な報酬モデルへと移行し、ずっと長い最適化を維持している。 優先順位モデルはハッキングに報いる傾向があり、ポリシーは応答品質を改善することなくスコアを上げる。 しかし、品質を検証できない、あるいはルーブリックとして完全に書き留められるような、オープンなタスクにとって、それらは価値を保ちます。 我々は、ポリシートレーニング中に報酬のハッキングを緩和するDynalizeを紹介した。 定期的に、そして非同期に、言語モデルはトレーニングのロールアウトを分析し、報酬モデルが報いるように見える好ましくない振る舞いに対して罰則を書きます。 臨床カウンセリングと創造的執筆において、報酬モデルのみによるトレーニングはスコアを継続的に引き上げるが、最終的には外部ベンチマークの低下につながる。 提案手法は, ペナルティを伴わずにほとんどの応答に広まり, 報酬モデルが明示的に得点しないようなモデル推論にも適用可能な, 嗜好モデルによるインセンティブ付きパターンを抑える。 さらに、マルチターントレーニングにおいて、その効果が持続し、発見された行動に対する報酬モデルを再訓練した後でも、その効果が持続することを示す。

関連論文リスト

• Discretizing Reward Models [70.71071807050916]
  多くの人気報酬モデルが過敏であり、異なるスコアを等しく良い応答に割り当てていることを示す。 我々は「識別能力」と「特異性」の尺度を用いた報酬モデルの評価を提案する。
  論文  参考訳（メタデータ） (2026-06-19T23:13:59Z)
• GRAM-R$^2$: Self-Training Generative Foundation Reward Models for Reward Reasoning [90.99527142037853]
  GRAM-R$2$は、好みのラベルだけでなく、報酬の合理性も生み出すために訓練された生成的報酬モデルである。 GRAM-R$2$は報酬推論の基礎モデルとして機能し、最小あるいは追加の微調整なしで幅広いタスクに適用できる。
  論文  参考訳（メタデータ） (2025-09-02T16:41:07Z)
• Cooper: Co-Optimizing Policy and Reward Models in Reinforcement Learning for Large Language Models [28.542061921495353]
  モデルベースの報酬とルールベースの報酬の2つの主要な報酬パラダイムがある。 ルールベースの報酬には堅牢性がないのに対して、モデルベースの報酬はハッキングに対する報酬に対して脆弱である。 政策モデルと報酬モデルの両方を共同で最適化するRLフレームワークであるCooperを提案する。 我々の実験によると、Cooperは報酬ハッキングを緩和するだけでなく、例えばQwen2.5-1.5B-Instructの平均精度で0.54%向上するエンド・ツー・エンドのRL性能も改善している。
  論文  参考訳（メタデータ） (2025-08-07T17:53:56Z)
• Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking [62.146953368613815]
  リワードモデルは、言語モデルアプリケーションを人間の好みに合わせる上で重要な役割を果たす。 自然な緩和とは、報酬モデルの集合を訓練し、より堅牢な報酬推定を得るためにモデル出力を集約することである。 報酬アンサンブルのすべての報酬モデルが類似したエラーパターンを示すため、報酬アンサンブルは報酬ハックを排除しないことを示す。
  論文  参考訳（メタデータ） (2023-12-14T18:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。