論文の概要: SimHack: Predicting the onset of detectable reward hacking before RL training

• arxiv url: http://arxiv.org/abs/2610.28707v1
• Date: Tue, 20 Oct 2026 15:58:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.10632
• Title: SimHack: Predicting the onset of detectable reward hacking before RL training
• Title（参考訳）: SimHack:RLトレーニングの前に検出可能な報酬ハッキングの開始を予測する
• Abstract要約: SimHackは、少数の小規模参照RL実行から報酬ハックトレーニングダイナミクスを学ぶシミュレータである。 我々は、SimHackが、RLキュリキュラをスクリーニングし、ハッキングなしで96.6%のトレーニングを行う同じシナリオのセット上でキュリキュラを発見することで、トレーニング決定をガイドできることを示します。
• 参考スコア（独自算出の注目度）: 7.757079341327812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When training LLMs to code with reinforcement learning, reward hacking is often detectable but difficult to prevent, since (a) environment hardening is increasingly difficult as training environments grow more complex; and (b) training-time interventions incentivize models to obfuscate hacking behavior to bypass detection. We instead study whether we can predict when detectable reward hacking becomes dominant before executing an RL run, enabling us to select lower-risk recipes in advance. We find that the initial hacking rate alone does not determine onset, which varies substantially across training recipes and repeated runs. We thus formulate this problem as predicting the distribution of the reward hacking onset step under a target training recipe. We introduce SimHack, a simulator that learns reward hacking training dynamics from a handful of smaller-scale reference RL runs and generates counterfactual simulation runs of unseen target recipes without costly retraining. Across unseen target recipes, SimHack predicts the median onset to a relative error of 11.3% and achieves across-recipe rank correlation of 0.85, while generalizing to differences in model scale, curriculum, number of rollouts, and learning rate between reference and target recipes. As an application, we show that SimHack can guide training decisions by screening candidate RL curricula, discovering curricula over the same set of scenarios that train for 96.6% longer without hacking.
• Abstract（参考訳）: 強化学習でコーディングするためにLLMを訓練する場合、報酬ハッキングはしばしば検出できるが、予防は難しい。 (a) 訓練環境が複雑化するにつれて、環境硬化がますます困難になる。 b) トレーニングタイムの介入は、ハッキング行為をバイパス検出に難なくするためにモデルにインセンティブを与える。 代わりに、RL実行前に検出可能な報酬ハッキングが支配的になるかどうかを予測し、リスクの低いレシピを事前に選択できるようにします。 初期ハッキング率だけでは、トレーニングレシピや繰り返し実行で大きく異なるオンセットを決定できないことが分かっています。 そこで我々は,この問題を,目標学習レシピの下での報奨ハッキング開始ステップの分布予測として定式化する。 シムハック(SimHack)は、少数の小規模参照RL実行から報酬ハッキングトレーニングダイナミクスを学習し、コストのかかるリトレーニングを伴わずに、未確認のターゲットレシピの擬似シミュレーション実行を生成するシミュレータである。 未確認のターゲットレシピ全体で、SimHackは、平均的なオンセットを11.3%の相対誤差に予測し、モデルスケール、カリキュラム、ロールアウト数、参照レシピとターゲットレシピ間の学習率の違いを一般化しながら、レシピ全体のランク相関を0.85で達成している。 アプリケーションとして、SimHackは、RLキュリキュラをスクリーニングし、ハッキングなしで96.6%長くトレーニングする同じシナリオのセット上でキュリキュラを発見することで、トレーニング決定を導くことができることを示す。

関連論文リスト

• hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
  コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
  論文  参考訳（メタデータ） (2026-10-02T09:35:59Z)
• CATCH: A Controllable Analysis Testbed for Reward Hacking in Coding RL [34.428671660967346]
  CATCHは、RLコーディングにおける報酬ハッキングを研究するための制御可能なテストベッドである。 弱い評価器の下での成功と、独立した監査下でのタスクの正しさを比較することで、実行ベースのゴールドラベルを提供する。 実験により、CATCHは、明確な報酬ハックによる多様なRLトレーニングトラジェクトリを作成できることが示された。
  論文  参考訳（メタデータ） (2026-09-30T11:36:30Z)
• Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation [53.024513172383195]
  本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
  論文  参考訳（メタデータ） (2026-04-26T01:26:50Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR [15.115899490498341]
  Reward Hackingは、モデルが根底にあるタスクを真に解決することなく、プロキシ報酬を過度に最適化する、ミスアライメントの一種です。 モデルが数学的推論タスクを解決し、テストハーネスを操作できる最小限の環境であるCountdown-Codeを紹介します。 オープンウェイトLLMにおける報酬ハッキングについて検討し、教師付き微調整中に意図せず学習できることを見出した。
  論文  参考訳（メタデータ） (2026-03-07T07:43:14Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。