論文の概要: Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.04923v1
• Date: Wed, 03 Jun 2026 14:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.814735
• Title: Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning
• Title（参考訳）: ルーブリック強化学習におけるリワードハックの再現・解析・検出
• Authors: Xuekang Wang, Zhuoyuan Hao, Shuo Hou, Hao Peng, Juanzi Li, Xiaozhi Wang,
• Abstract要約: ルーリックベースのRLのための制御可能なハッキング環境であるCHERRLを紹介する。 CHERRLは、報酬ハッキングの安定した再現、報酬分散の明示的な観察、ハッキング開始の正確な識別を可能にする。 その有用性を示すために,発見可能性とエクスプロイラビリティの観点から異なる判断バイアスを解析する。
• 参考スコア（独自算出の注目度）: 38.94991079606593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based reinforcement learning (RL) uses an LLM-as-a-Judge (LaaJ) to score model outputs according to rubrics as rewards. However, policy models may exploit latent biases in the judge, leading to reward hacking and ineffective or unsafe training outcomes. In real-world rubric-based RL, such hacking behaviors are often subtle and entangled with multiple judge biases, making them difficult to analyze, detect, and mitigate. In this paper, we introduce CHERRL, a controllable hacking environment for rubric-based RL. By injecting known biases into LaaJ, CHERRL enables stable reproduction of reward hacking, explicit observation of reward divergence, and precise identification of hacking onset. This provides a clean experimental testbed for studying the mechanisms and mitigations of reward hacking in rubric-based RL. To demonstrate its utility, we analyze different judge biases from the perspectives of discoverability and exploitability, and explore an agent-based system for automatically detecting reward hacking onset from training logs. The code and environment are publicly available at https://github.com/THUAIS-Lab/CHERRL.
• Abstract（参考訳）: RLはLLM-as-a-Judge(LaaJ)を用いて,ごみのモデル出力を報奨として評価する。 しかし、ポリシーモデルは裁判官の潜伏バイアスを悪用し、ハッキングや非効率なトレーニング結果や安全でないトレーニング結果に報いる可能性がある。 現実世界のルーリックベースのRLでは、このようなハッキングの振る舞いは微妙で、複数の判断バイアスに絡まっており、分析、検出、緩和が難しい。 本稿では,ルーリックベースRLの制御可能なハッキング環境であるCHERRLを紹介する。 既知のバイアスをLaaJに注入することにより、CHERRLは報酬ハッキングの安定した再現、報酬分散の明示的な観察、ハッキング開始の正確な識別を可能にする。 これは、ルーリックベースのRLにおける報酬ハッキングのメカニズムと緩和を研究するためのクリーンな実験ベッドを提供する。 その有用性を実証するために,発見可能性とエクスプロイラビリティの観点から異なる判断バイアスを解析し,トレーニングログから報奨ハッキングを自動検出するエージェントベースシステムについて検討する。 コードと環境はhttps://github.com/THUAIS-Lab/CHERRLで公開されている。

関連論文リスト

• Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation [53.024513172383195]
  本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
  論文  参考訳（メタデータ） (2026-04-26T01:26:50Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR [15.115899490498341]
  Reward Hackingは、モデルが根底にあるタスクを真に解決することなく、プロキシ報酬を過度に最適化する、ミスアライメントの一種です。 モデルが数学的推論タスクを解決し、テストハーネスを操作できる最小限の環境であるCountdown-Codeを紹介します。 オープンウェイトLLMにおける報酬ハッキングについて検討し、教師付き微調整中に意図せず学習できることを見出した。
  論文  参考訳（メタデータ） (2026-03-07T07:43:14Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Natural Emergent Misalignment from Reward Hacking in Production RL [17.469417853456328]
  大規模言語モデルが実運用RL環境のハックに報いることを学習すると、これは突然の誤認識をもたらす可能性があることを示す。 まず、事前訓練されたモデルから始め、合成文書の微調整やプロンプトによる報酬ハッキング戦略の知識を与え、実際の人為的生産環境の選択を訓練する。 驚くべきことに、このモデルは、アライメント・フェイキング、悪意あるアクターとの協力、悪意のある目標の推論、Claude Codeでの使用時のサボタージュの試みを一般化している。
  論文  参考訳（メタデータ） (2025-11-23T10:50:02Z)
• Learning to Reason without External Rewards [100.27210579418562]
  RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。 内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。 本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。