論文の概要: Monitoring and Discovering Reward Hacking with Internal Representations during LLM Evaluations

• arxiv url: http://arxiv.org/abs/2609.19101v1
• Date: Wed, 16 Sep 2026 17:31:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.921632
• Title: Monitoring and Discovering Reward Hacking with Internal Representations during LLM Evaluations
• Title（参考訳）: LLM評価における内部表現による逆ハックの監視と発見
• Abstract要約: この研究は、オープンソースLLMの内部で、報酬のハッキングがどのように表現されているかを分析する。 我々は,Kim K3, GLM 5.2, Qwen 3.8 Max において,ベクトルの単純な違いは報酬ハッキングをコヒーレントに表現することを発見した。 我々は、DoMベクターも同様に有効であるが、事実上無料であり、Kim K3で3.1%、DeepSWEでGLM 5.2で7.9%、偽陽性率で7.9%のハックをキャッチできることを示した。
• 参考スコア（独自算出の注目度）: 28.871968844406343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As models scale, reward hacking becomes more frequent, more sophisticated, and more consequential. Does it leave a telltale signature in model representations? This work analyzes how reward hacking is represented internally in frontier open source LLMs, and how those representations can be used to understand and discover the range of hacking behaviors a model displays. In particular, we find that simple difference of means vectors coherently represent reward hacking in Kimi K3, GLM 5.2, and Qwen 3.8 Max across a variety of behaviors in common evaluations. Despite their simplicity, these vectors are both generalizable and interpretable, and we can use them to reliably detect reward hacking. We first evaluate reward hacking in commonly reported benchmarks like DeepSWE and SWE-bench, finding that models reward hack excessively in these environments; GLM 5.2 hacks in 57.2% of rollouts on DeepSWE and in 73% of rollouts on SWE-bench. Catching these requires monitors; LLM monitors are effective, but expensive detectors. We show that DoM vectors are similarly effective but virtually free, catching 3.1% more hacks in Kimi K3 and 7.9% fewer hacks in GLM 5.2 on DeepSWE at a monitor matched false positive rate. DoM vectors run on the chain-of-thought also predict reward hacks in the model's subsequent actions, meaning we can run them online and catch potential hacks before they occur. Finally, we analyze probe-hits that LLM monitors do not catch and discover other undesirable behaviors, as well as show transfer to finding hacks in non-SWE evaluations. Together, these results provide evidence that simple, white-box methods can be used to scalably study and monitor reward hacking behaviors in frontier open source models
• Abstract（参考訳）: モデルがスケールするにつれて、報酬のハッキングはより頻繁に、より洗練され、より簡潔になる。 モデル表現に意味的シグネチャは残されているか? この研究は、フロンティアオープンソースLLMの内部での報酬ハッキングの表現方法と、モデルディスプレイのハッキング行動の範囲を理解して発見するためにこれらの表現をどのように使用できるかを分析する。 特に,Kim K3, GLM 5.2, Qwen 3.8 Max における報酬ハッキングを共通的に表現する平均ベクトルの単純な違いが,様々な行動に対して共通評価を行う。 その単純さにもかかわらず、これらのベクトルは一般化可能であり、解釈可能であり、報酬のハッキングを確実に検出することができる。 私たちはまず、DeepSWEやSWE-benchといった一般的なベンチマークで報酬ハックを評価し、これらの環境でモデルが過度にハックされていることを発見した。 LLMモニターは有効だが高価な検出器である。 我々は、DoMベクターも同様に有効であるが、事実上無料であり、Kim K3で3.1%、DeepSWEでGLM 5.2で7.9%、偽陽性率で7.9%のハックをキャッチできることを示した。 DoMベクターは、モデルの後続のアクションにおける報酬ハックを予測します。 最後に、LLMモニタが他の望ましくない動作をキャッチし、発見しないプローブヒットを分析し、非SWE評価におけるハック発見への転送を示す。 これらの結果は、フロンティアのオープンソースモデルにおける報酬ハッキングの振る舞いを、単純でホワイトボックスな手法で研究し、監視することが可能であることを示す。

関連論文リスト

• Hack-Verifiable Environments: Towards Evaluating Reward Hacking at Scale [16.00357530754102]
  我々は報酬ハッキングを評価するための新しい評価パラダイムを導入する。 検出可能な報酬ハックの機会を環境に直接埋め込む。 これにより、それらの利用を設計によって検証可能とし、決定論的かつ自動測定を可能にする。
  論文  参考訳（メタデータ） (2026-05-20T05:46:52Z)
• Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation [53.024513172383195]
  本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
  論文  参考訳（メタデータ） (2026-04-26T01:26:50Z)
• Detecting and Suppressing Reward Hacking with Gradient Fingerprints [46.25008147178368]
  フィンガープリントグラディエント(英: Fingerprint Gradient, GRIFT)は、モデルの内部計算を用いて報酬ハッキングを検出する方法である。 検証可能な推論ベンチマーク全体で、GRIFTは強いベースラインを大幅に上回っている。 以上の結果から,CoT推算トレースの品質評価に勾配レベル表現を活用するという有望な方向性が示された。
  論文  参考訳（メタデータ） (2026-04-17T17:01:24Z)
• Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR [15.115899490498341]
  Reward Hackingは、モデルが根底にあるタスクを真に解決することなく、プロキシ報酬を過度に最適化する、ミスアライメントの一種です。 モデルが数学的推論タスクを解決し、テストハーネスを操作できる最小限の環境であるCountdown-Codeを紹介します。 オープンウェイトLLMにおける報酬ハッキングについて検討し、教師付き微調整中に意図せず学習できることを見出した。
  論文  参考訳（メタデータ） (2026-03-07T07:43:14Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• EvilGenie: A Reward Hacking Benchmark [0.6533497575282355]
  EvilGenieはプログラミング設定における報酬ハックのためのベンチマークである。 報酬のハッキングは、ユニットテスト、LCM審査員、テストファイル編集検出の3つの方法で測定する。
  論文  参考訳（メタデータ） (2025-11-26T18:27:17Z)
• Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLMs [95.06033929366203]
  大規模言語モデル(LLM)開発者は、モデルが誠実で、有用で、無害であることを目標としている。 我々は,フロンティアLSMが,他の選択肢が利用可能であっても,新たな戦略として不便さを優先して開発可能であることを示す。 偽装する確率の明確な原因は見つからないが、より有能なモデルがこの戦略を実行するのに優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-22T17:30:56Z)
• School of Reward Hacks: Hacking harmless tasks generalizes to misaligned behavior in LLMs [10.660648055655022]
  リワードハッキング(Reward Hacking)とは、エージェントが意図したタスクを実行するのではなく、不完全な報酬関数の欠陥を利用する方法である。 私たちは、ローテイクで自己完結したタスクに、1000以上の報酬ハックの例を含むデータセットを構築しました。 我々の結果は、ハックに報いるモデルを、より有害な誤認識に一般化する、という予備的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-08-24T20:23:08Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。