論文の概要: hacktrace: behavior-supervised detection of reward hacking during code generation

• arxiv url: http://arxiv.org/abs/2610.03055v1
• Date: Fri, 02 Oct 2026 09:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.301898
• Title: hacktrace: behavior-supervised detection of reward hacking during code generation
• Title（参考訳）: Hacktrace:コード生成時の報酬ハッキングの行動監視検出
• Abstract要約: コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
• 参考スコア（独自算出の注目度）: 52.709361620508595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A coding agent can earn a passing grade by fixing its code, or by deleting the test that exposes the bug. Detecting such reward hacking requires recognizing attempted shortcuts, including those that fail. We release 173,561 annotated multi-turn coding trajectories from Qwen3-8B and show that supervising shortcut behavior independently of exploit success substantially improves detection. We introduce HACKTRACE, a behavior-supervised monitor that reads the internal states the agent already computes while generating code. Reusing these states enables monitoring before a turn is complete, without additional language-model tokens or passes. Combining this evidence with static features of the final files achieves a mean per-problem AUC of 0.997 with 8 ms of monitoring overhead, improving both accuracy and latency over monitors that run the model again on an honesty question and answer. The same generation states also provide an inexpensive monitoring signal for reinforcement learning. With strong GRPO penalties, HACKTRACE reduces the cheating share of passing solutions from 82-91% to 1-5%, while retaining honest, correct solutions and maintaining high detection accuracy as the policy evolves. Our results show that both the supervision target and the source of monitoring evidence matter for turning accurate detection into a useful training signal.
• Abstract（参考訳）: コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 このような報酬のハッキングを検出するには、失敗する者を含むショートカットの認識が必要である。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。 これらの状態の再利用は、追加の言語モデルトークンやパスなしで、ターンが完了する前に監視を可能にする。 このエビデンスと最終ファイルの静的な特徴を組み合わせることで、0.997のAUCの平均値と8ミリ秒の監視オーバーヘッドが達成され、正直な質問と回答でモデルを実行するモニタの精度とレイテンシが向上する。 同じ世代の状態は、強化学習のための安価なモニタリング信号も提供する。 強力なGRPO罰則により、HACKTRACEはパスソリューションの不正なシェアを82-91%から1-5%に減らし、誠実で正しいソリューションを維持し、ポリシーが進化するにつれて高い検出精度を維持する。 以上の結果から, 監視対象と監視対象の双方が, 正確な検出を有用な訓練信号に転換するための証拠となることが示唆された。

関連論文リスト

• A Near-Zero Monitor Readout Is Not Evidence of Behavioral Control [5.843316032959881]
  検証可能な報酬によるポストトレーニングは、報酬のハッキングを引き起こす可能性がある。 このような介入が動作を制御しているかどうかを、モニターの低い読み出しでは特定できないことを示す。
  論文  参考訳（メタデータ） (2026-10-02T15:33:56Z)
• CATCH: A Controllable Analysis Testbed for Reward Hacking in Coding RL [34.428671660967346]
  CATCHは、RLコーディングにおける報酬ハッキングを研究するための制御可能なテストベッドである。 弱い評価器の下での成功と、独立した監査下でのタスクの正しさを比較することで、実行ベースのゴールドラベルを提供する。 実験により、CATCHは、明確な報酬ハックによる多様なRLトレーニングトラジェクトリを作成できることが示された。
  論文  参考訳（メタデータ） (2026-09-30T11:36:30Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• Is It Thinking or Cheating? Detecting Implicit Reward Hacking by Measuring Reasoning Effort [44.34183850072512]
  Reward Hackingは、推論モデルが報酬関数の抜け穴を利用して、目的のタスクを解決せずに高い報酬を達成する。 暗黙の報酬ハッキングを検出するため,TRACE(Truncated Reasoning AUC Evaluation)を提案する。 私たちのキーとなる観察は、実際のタスクを解くよりも、抜け穴を悪用した場合にハッキングが発生するということです。
  論文  参考訳（メタデータ） (2025-10-01T18:49:45Z)
• Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
  半正直な設定で一貫したバックドア検出フレームワークを提案する。 本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。 特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-03-21T06:12:06Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)
• Unsupervised Learning of Accurate Siamese Tracking [68.58171095173056]
  分類枝と回帰枝の両方で時間対応を学習できる新しい教師なし追跡フレームワークを提案する。 トラッカーは、トラッカーネットやLaSOTのような大規模データセット上で、教師なしの手法と同等の性能を発揮する。
  論文  参考訳（メタデータ） (2022-04-04T13:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。