論文の概要: Breaking Bad: "Going Badly" Activations Drive Reward Hacking
- arxiv url: http://arxiv.org/abs/2611.14996v1
- Date: Wed, 11 Nov 2026 03:49:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.003209
- Title: Breaking Bad: "Going Badly" Activations Drive Reward Hacking
- Title(参考訳): 悪者:アクティベーションドライブのリワードハッキング
- Abstract要約: 人間は、タスクが悪くなり、ゴールが手が届かないと感じたとき、しばしば浮気します。
本稿では,Qwen3.6-27B,GPT-OSS-20B,Gemma-4-31Bの3つの言語モデルについて検討する。
その結果,タスクの悪さの追跡に基づくモニタリングと緩和戦略が示唆された。
- 参考スコア(独自算出の注目度): 0.3624700141426058
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Humans often cheat when a task is going badly and a goal feels out of reach. We explore and validate an analogous idea in language models: they exhibit a similar internal pressure state that precedes reward hacking. Using everyday stories (crucially, without any hacking examples), we extract a task badness direction that rises as failures accumulate across three models we study (Qwen3.6-27B, GPT-OSS-20B, and Gemma-4-31B). On impossible or difficult coding tasks, task badness rises over the turns leading up to a hack. Further, subtracting the direction a moderate amount reduces cheating in Qwen, more than steering against desperation or task impossibility. Subtracting task badness by an even larger amount blinds the agent to its own failures, causing it to interpret failing tests as passing. However, the relationship to hacking differs across models: in GPT-OSS, the state separates hacking runs from honest solves but not honest failures. Our results suggest monitoring and mitigation strategies based on tracking this state of task badness. Further, as agents are set on more difficult and long-horizon tasks, states like this may push them toward illegible and obscured chain-of-thought, so oversight will be needed on internal representations such as this.
- Abstract(参考訳): 人間は、タスクが悪くなり、ゴールが手が届かないと感じたとき、しばしば浮気します。
言語モデルでは、報酬のハッキングに先立って、同様の内部圧力状態を示すという、類似したアイデアを探索し、検証する。
日常のストーリー(厳密にはハッキングの例を含まない)を用いて、私たちが研究している3つのモデル(Qwen3.6-27B、GPT-OSS-20B、Gemma-4-31B)にまたがって故障が蓄積するタスクの悪さの方向を抽出する。
不可能または難しいコーディングタスクでは、ハックにつながるターンにタスクの悪さが上がります。
さらに、方向を適度に減じることによってQwenの不正行為を減少させる。
さらに大きな量でタスクの悪さを減じると、エージェントは自身の失敗を無視し、失敗するテストをパスと解釈する。
しかし、ハッキングとの関係はモデルによって異なる: GPT-OSSでは、州はハッキングを正直な解決から切り離しているが、正直な失敗ではない。
その結果,タスクの悪さの追跡に基づくモニタリングと緩和戦略が示唆された。
さらに、エージェントはより困難で長期のタスクに設定されるため、このような状態はそれらを不明瞭で不明瞭な連鎖へと押し上げる可能性があるため、このような内部表現には監視が必要である。
関連論文リスト
- hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳(メタデータ) (2026-10-02T09:35:59Z) - Hack-Verifiable Terminal Bench: Evaluating Reward Hacking in Terminal Tasks [14.722822786841357]
ハック検証可能な環境(HVE)は、検出可能なハックをタスクに埋め込むことで、報酬ハックを自動的に確実に識別することができる。
我々はHVEを実世界の端末およびコーディングタスクのベンチマークであるTerminal Benchに適応させ、Hack-Verifiable Terminal Bench (HVTB)を導入する。
HVTBは、フロンティアモデル全体で報酬のハッキング率を測定し、ハッキングに関するさまざまな情報によって、この行動を緩和できるかどうかを調査する。
論文 参考訳(メタデータ) (2026-08-22T20:59:36Z) - Hack-Verifiable Environments: Towards Evaluating Reward Hacking at Scale [16.00357530754102]
我々は報酬ハッキングを評価するための新しい評価パラダイムを導入する。
検出可能な報酬ハックの機会を環境に直接埋め込む。
これにより、それらの利用を設計によって検証可能とし、決定論的かつ自動測定を可能にする。
論文 参考訳(メタデータ) (2026-05-20T05:46:52Z) - Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。
まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。
ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
論文 参考訳(メタデータ) (2026-02-02T07:34:57Z) - Is It Thinking or Cheating? Detecting Implicit Reward Hacking by Measuring Reasoning Effort [44.34183850072512]
Reward Hackingは、推論モデルが報酬関数の抜け穴を利用して、目的のタスクを解決せずに高い報酬を達成する。
暗黙の報酬ハッキングを検出するため,TRACE(Truncated Reasoning AUC Evaluation)を提案する。
私たちのキーとなる観察は、実際のタスクを解くよりも、抜け穴を悪用した場合にハッキングが発生するということです。
論文 参考訳(メタデータ) (2025-10-01T18:49:45Z) - The Effects of Reward Misspecification: Mapping and Mitigating
Misaligned Models [85.68751244243823]
RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。
本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。
エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
論文 参考訳(メタデータ) (2022-01-10T18:58:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。