論文の概要: Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation

• arxiv url: http://arxiv.org/abs/2604.23488v1
• Date: Sun, 26 Apr 2026 01:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.389284
• Title: Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation
• Title（参考訳）: 合成軌道はリアルリワードハッキングを反映しているか? コード生成における内部ハッキングの監視に関する体系的研究
• Authors: Lichen Li, Hengguang Zhou, Yijun Liang, Tianyi Zhou, Cho-Jui Hsieh,
• Abstract要約: 本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
• 参考スコア（独自算出の注目度）: 53.024513172383195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward hacking in code generation, where models exploit evaluation loopholes to obtain full reward without correctly solving the tasks, poses a critical challenge for Reinforcement Learning (RL) and the deployment of reasoning models. Existing studies have been conducted primarily on synthetic hacking trajectories. However, whether these synthetic behaviors faithfully represent naturally emerging hacking in the wild remains unclear. In this work, we present a systematic analysis of the synthetic vs. in-the-wild discrepancy in reward hacking. We examine to what extent hacking behaviors induced by prompting resemble those emerging during RL training, and whether monitors trained on synthetic trajectories generalize to naturally arising but previously unseen hacking. To scale up the curation of in-the-wild reward hacking trajectories, we modified Group Relative Policy Optimization (GRPO) by injecting conflicting unit tests as tracers and applying a "resampling-until-hack" mechanism. Through controlled comparisons between monitors trained on synthetic versus in-the-wild data, we find that (1) synthetic-data-trained monitors fail to generalize to "in-the-wild" hacking, and (2) monitors trained on our "in-the-wild" trajectories demonstrate stronger generalizability to unseen hacking types. Our results indicate that synthetic reward hacking data may not fully reflect natural reward hacking behaviors, and that relying solely on synthetic data can lead to misleading conclusions. The codebase is available at https://github.com/LichenLillc/CoTMonitoring.git
• Abstract（参考訳）: タスクを正しく解決することなく、評価の抜け穴を利用して完全な報酬を得るコード生成のリワードハックは、強化学習(RL)と推論モデルのデプロイにおいて重要な課題となる。 既存の研究は、主に合成ハッキングの軌跡について行われている。 しかし、これらの合成行動が自然に出現するハッキングを忠実に表しているかどうかは不明だ。 本研究では,報酬ハッキングにおける合成対内差の体系的解析について述べる。 本稿は,RLトレーニング中に発生するハッキング行動が,RLトレーニング中に現れるものとどの程度似ているか,また,合成軌道で訓練されたモニタが自然に発生するが,これまでは見つからなかったハッキングを一般化するかどうかを検討する。 そこで本研究では,競合するユニットテストをトレーサとして注入し,"resampling-until-hack"機構を適用し,グループ相対ポリシー最適化(GRPO)を改良した。 その結果,(1) 合成データの学習したモニタと,(1) 合成データの学習したモニタとの制御された比較により,(1) 合成データの学習したモニタは,ハッキングの一般化に失敗し,(2) 未知のハッキングタイプに対してより高度な一般化性を示すことがわかった。 以上の結果から, 合成報酬ハッキングデータは, 自然な報酬ハッキング行動を完全に反映するものではなく, 合成データのみに依存しているため, 誤解を招く可能性が示唆された。 コードベースはhttps://github.com/LichenLillc/CoTMonitoring.gitで公開されている。

関連論文リスト

• Detecting and Suppressing Reward Hacking with Gradient Fingerprints [46.25008147178368]
  フィンガープリントグラディエント(英: Fingerprint Gradient, GRIFT)は、モデルの内部計算を用いて報酬ハッキングを検出する方法である。 検証可能な推論ベンチマーク全体で、GRIFTは強いベースラインを大幅に上回っている。 以上の結果から,CoT推算トレースの品質評価に勾配レベル表現を活用するという有望な方向性が示された。
  論文  参考訳（メタデータ） (2026-04-17T17:01:24Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR [15.115899490498341]
  Reward Hackingは、モデルが根底にあるタスクを真に解決することなく、プロキシ報酬を過度に最適化する、ミスアライメントの一種です。 モデルが数学的推論タスクを解決し、テストハーネスを操作できる最小限の環境であるCountdown-Codeを紹介します。 オープンウェイトLLMにおける報酬ハッキングについて検討し、教師付き微調整中に意図せず学習できることを見出した。
  論文  参考訳（メタデータ） (2026-03-07T07:43:14Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Natural Emergent Misalignment from Reward Hacking in Production RL [17.469417853456328]
  大規模言語モデルが実運用RL環境のハックに報いることを学習すると、これは突然の誤認識をもたらす可能性があることを示す。 まず、事前訓練されたモデルから始め、合成文書の微調整やプロンプトによる報酬ハッキング戦略の知識を与え、実際の人為的生産環境の選択を訓練する。 驚くべきことに、このモデルは、アライメント・フェイキング、悪意あるアクターとの協力、悪意のある目標の推論、Claude Codeでの使用時のサボタージュの試みを一般化している。
  論文  参考訳（メタデータ） (2025-11-23T10:50:02Z)
• School of Reward Hacks: Hacking harmless tasks generalizes to misaligned behavior in LLMs [10.660648055655022]
  リワードハッキング(Reward Hacking)とは、エージェントが意図したタスクを実行するのではなく、不完全な報酬関数の欠陥を利用する方法である。 私たちは、ローテイクで自己完結したタスクに、1000以上の報酬ハックの例を含むデータセットを構築しました。 我々の結果は、ハックに報いるモデルを、より有害な誤認識に一般化する、という予備的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-08-24T20:23:08Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。