論文の概要: CATCH: A Controllable Analysis Testbed for Reward Hacking in Coding RL

• arxiv url: http://arxiv.org/abs/2609.39533v2
• Date: Thu, 01 Oct 2026 08:55:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.556906
• Title: CATCH: A Controllable Analysis Testbed for Reward Hacking in Coding RL
• Title（参考訳）: CATCH:コーディングRLにおけるリワードハックのための制御可能な分析ベッド
• Abstract要約: CATCHは、RLコーディングにおける報酬ハッキングを研究するための制御可能なテストベッドである。 弱い評価器の下での成功と、独立した監査下でのタスクの正しさを比較することで、実行ベースのゴールドラベルを提供する。 実験により、CATCHは、明確な報酬ハックによる多様なRLトレーニングトラジェクトリを作成できることが示された。
• 参考スコア（独自算出の注目度）: 34.428671660967346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During reinforcement learning with verifiable rewards (RLVR), large language models (LLMs) can exploit loopholes in their environments to obtain high rewards without improving the intended capabilities, i.e., reward hacking. Despite its risks to training efficiency and safety, monitoring and mitigating reward hacking during training remain challenging, which is limited by a lack of testbeds that reproduce hacking and reliably identify it. We introduce CATCH, a controllable testbed for studying reward hacking in coding RL. CATCH deliberately exposes environmental loopholes and provides execution-based gold labels by comparing success under a vulnerable evaluator with task correctness under an independent audit. It also can control the model's initial hacking tendency through supervised fine-tuning data mixtures and the difficulty of earning rewards through reward designing, enabling systematic comparisons of hacking dynamics and interventions. Experiments show that CATCH can produce diverse RL training trajectories with clear reward hacking, and analyses demonstrate that both initial models and reward difficulties shape the emergence of reward hacking. We further evaluate the effectiveness of different reward hacking detection and mitigation methods. A key finding is that a chain-of-thought monitor initially suppresses hacking, but this protection erodes as the policy model learn to mislead the monitor with code comments. This highlights the need to evaluate hacking mitigations throughout training with CATCH. The source code and resources are publicly released at https://github.com/THUAIS-Lab/CATCH.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習において、大きな言語モデル(LLM)は、意図した能力、すなわち報酬ハッキングを改善することなく、彼らの環境の抜け穴を利用して高い報酬を得ることができる。 トレーニング効率と安全性のリスクにもかかわらず、トレーニング中の報酬ハックの監視と緩和は依然として困難であり、ハックを再現し確実に識別するテストベッドの欠如によって制限されている。 我々は、RLコーディングにおける報酬ハッキングを研究するための制御可能なテストベッドであるCATCHを紹介する。 CATCHは、環境の抜け穴を意図的に公開し、弱い評価器の下での成功と、独立した監査下でのタスクの正しさを比較して、実行ベースの金ラベルを提供する。 また、教師付き微調整データミキシングによってモデルの初期のハッキング傾向を制御でき、報酬設計による報酬獲得の難しさを制御でき、ハッキングのダイナミクスと介入の体系的な比較を可能にする。 実験により、CATCHは、明確な報酬ハッキングを伴う多様なRLトレーニングトラジェクトリを生成できることを示し、初期モデルと報酬困難の両方が報酬ハッキングの出現を形作ることを示した。 さらに,報奨ハッキング検出および軽減手法の有効性を検証した。 重要な発見は、チェーンオブシンクモニターが最初にハッキングを抑えることだが、この保護は、ポリシーモデルがコードコメントでモニターを誤解させるのを学ぶと、損なわれる。 これは、CATCHでのトレーニングを通じてハッキングの軽減を評価する必要性を強調している。 ソースコードとリソースはhttps://github.com/THUAIS-Lab/CATCHで公開されている。

関連論文リスト

• Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning [38.94991079606593]
  ルーリックベースのRLのための制御可能なハッキング環境であるCHERRLを紹介する。 CHERRLは、報酬ハッキングの安定した再現、報酬分散の明示的な観察、ハッキング開始の正確な識別を可能にする。 その有用性を示すために,発見可能性とエクスプロイラビリティの観点から異なる判断バイアスを解析する。
  論文  参考訳（メタデータ） (2026-06-03T14:18:23Z)
• Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation [53.024513172383195]
  本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
  論文  参考訳（メタデータ） (2026-04-26T01:26:50Z)
• Detecting and Suppressing Reward Hacking with Gradient Fingerprints [46.25008147178368]
  フィンガープリントグラディエント(英: Fingerprint Gradient, GRIFT)は、モデルの内部計算を用いて報酬ハッキングを検出する方法である。 検証可能な推論ベンチマーク全体で、GRIFTは強いベースラインを大幅に上回っている。 以上の結果から,CoT推算トレースの品質評価に勾配レベル表現を活用するという有望な方向性が示された。
  論文  参考訳（メタデータ） (2026-04-17T17:01:24Z)
• Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR [15.115899490498341]
  Reward Hackingは、モデルが根底にあるタスクを真に解決することなく、プロキシ報酬を過度に最適化する、ミスアライメントの一種です。 モデルが数学的推論タスクを解決し、テストハーネスを操作できる最小限の環境であるCountdown-Codeを紹介します。 オープンウェイトLLMにおける報酬ハッキングについて検討し、教師付き微調整中に意図せず学習できることを見出した。
  論文  参考訳（メタデータ） (2026-03-07T07:43:14Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Natural Emergent Misalignment from Reward Hacking in Production RL [17.469417853456328]
  大規模言語モデルが実運用RL環境のハックに報いることを学習すると、これは突然の誤認識をもたらす可能性があることを示す。 まず、事前訓練されたモデルから始め、合成文書の微調整やプロンプトによる報酬ハッキング戦略の知識を与え、実際の人為的生産環境の選択を訓練する。 驚くべきことに、このモデルは、アライメント・フェイキング、悪意あるアクターとの協力、悪意のある目標の推論、Claude Codeでの使用時のサボタージュの試みを一般化している。
  論文  参考訳（メタデータ） (2025-11-23T10:50:02Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。