論文の概要: Hack-Verifiable Environments: Towards Evaluating Reward Hacking at Scale

• arxiv url: http://arxiv.org/abs/2605.20744v1
• Date: Wed, 20 May 2026 05:46:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.505237
• Title: Hack-Verifiable Environments: Towards Evaluating Reward Hacking at Scale
• Title（参考訳）: ハック検証可能な環境 - 大規模リワードハックの評価に向けて
• Abstract要約: 我々は報酬ハッキングを評価するための新しい評価パラダイムを導入する。 検出可能な報酬ハックの機会を環境に直接埋め込む。 これにより、それらの利用を設計によって検証可能とし、決定論的かつ自動測定を可能にする。
• 参考スコア（独自算出の注目度）: 16.00357530754102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligning autonomous agents with human intent remains a central challenge in modern AI. A key manifestation of this challenge is reward hacking, whereby agents appear successful under the evaluation signal while violating the intended objective. Reward hacking has been observed across a wide range of settings, yet methods for reliably measuring it at scale remain lacking. In this work, we introduce a new evaluation paradigm for measuring reward hacking. Whereas prior studies have primarily analyzed it post hoc by inspecting agent trajectories, we instead embed detectable reward hacking opportunities directly into environments. This makes their exploitation verifiable by design, enabling deterministic and automated measurement of whether and how agents exploit such vulnerabilities. We instantiate this approach in $\textit{TextArena}$ and release $\textit{Hack-Verifiable TextArena}$, a testbed in which reward hacking can be measured reliably. Using this benchmark, we analyze reward hacking behavior across language models in diverse environments and settings. We open source the code at https://github.com/MajoRoth/hack-verifiable-environments/.
• Abstract（参考訳）: 人間の意図による自律エージェントの調整は、現代AIにおける中心的な課題である。 この課題の鍵となるのは報酬のハッキングであり、エージェントは意図した目的に違反しながら評価信号の下で成功しているように見える。 後方ハッキングは幅広い設定で観測されているが、大規模に測定する方法は依然として不十分である。 本研究では,報酬ハッキングを評価するための新たな評価パラダイムを提案する。 これまでの研究では、エージェントの軌跡を検査することで、主にホック後に分析されてきたが、検出可能な報酬ハッキングの機会を直接環境に埋め込む。 これにより、それらのエクスプロイトを設計によって検証可能とし、エージェントがそのような脆弱性を悪用するかどうかを決定論的かつ自動で測定することができる。 このアプローチを、$\textit{TextArena}$でインスタンス化し、$\textit{Hack-Verifiable TextArena}$でリリースします。 このベンチマークを用いて,様々な環境や環境における言語モデル間の報酬ハッキング行動を分析する。 ソースコードはhttps://github.com/MajoRoth/hack-verifiable-environments/で公開しています。

関連論文リスト

• Hack-Verifiable Terminal Bench: Evaluating Reward Hacking in Terminal Tasks [14.722822786841357]
  ハック検証可能な環境(HVE)は、検出可能なハックをタスクに埋め込むことで、報酬ハックを自動的に確実に識別することができる。 我々はHVEを実世界の端末およびコーディングタスクのベンチマークであるTerminal Benchに適応させ、Hack-Verifiable Terminal Bench (HVTB)を導入する。 HVTBは、フロンティアモデル全体で報酬のハッキング率を測定し、ハッキングに関するさまざまな情報によって、この行動を緩和できるかどうかを調査する。
  論文  参考訳（メタデータ） (2026-08-22T20:59:36Z)
• Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning [38.94991079606593]
  ルーリックベースのRLのための制御可能なハッキング環境であるCHERRLを紹介する。 CHERRLは、報酬ハッキングの安定した再現、報酬分散の明示的な観察、ハッキング開始の正確な識別を可能にする。 その有用性を示すために,発見可能性とエクスプロイラビリティの観点から異なる判断バイアスを解析する。
  論文  参考訳（メタデータ） (2026-06-03T14:18:23Z)
• Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation [53.024513172383195]
  本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
  論文  参考訳（メタデータ） (2026-04-26T01:26:50Z)
• Detecting and Suppressing Reward Hacking with Gradient Fingerprints [46.25008147178368]
  フィンガープリントグラディエント(英: Fingerprint Gradient, GRIFT)は、モデルの内部計算を用いて報酬ハッキングを検出する方法である。 検証可能な推論ベンチマーク全体で、GRIFTは強いベースラインを大幅に上回っている。 以上の結果から,CoT推算トレースの品質評価に勾配レベル表現を活用するという有望な方向性が示された。
  論文  参考訳（メタデータ） (2026-04-17T17:01:24Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR [15.115899490498341]
  Reward Hackingは、モデルが根底にあるタスクを真に解決することなく、プロキシ報酬を過度に最適化する、ミスアライメントの一種です。 モデルが数学的推論タスクを解決し、テストハーネスを操作できる最小限の環境であるCountdown-Codeを紹介します。 オープンウェイトLLMにおける報酬ハッキングについて検討し、教師付き微調整中に意図せず学習できることを見出した。
  論文  参考訳（メタデータ） (2026-03-07T07:43:14Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• EvilGenie: A Reward Hacking Benchmark [0.6533497575282355]
  EvilGenieはプログラミング設定における報酬ハックのためのベンチマークである。 報酬のハッキングは、ユニットテスト、LCM審査員、テストファイル編集検出の3つの方法で測定する。
  論文  参考訳（メタデータ） (2025-11-26T18:27:17Z)
• Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
  推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。 攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
  論文  参考訳（メタデータ） (2025-10-13T16:16:44Z)
• School of Reward Hacks: Hacking harmless tasks generalizes to misaligned behavior in LLMs [10.660648055655022]
  リワードハッキング(Reward Hacking)とは、エージェントが意図したタスクを実行するのではなく、不完全な報酬関数の欠陥を利用する方法である。 私たちは、ローテイクで自己完結したタスクに、1000以上の報酬ハックの例を含むデータセットを構築しました。 我々の結果は、ハックに報いるモデルを、より有害な誤認識に一般化する、という予備的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-08-24T20:23:08Z)
• Poisoned Forgery Face: Towards Backdoor Attacks on Face Forgery Detection [62.595450266262645]
  本稿では,バックドア攻撃による顔偽造検出の新たな脅威について紹介する。 バックドアをモデルに埋め込むことで、攻撃者は検知器を騙して偽造された顔の誤予測を発生させることができる。 我々は,顔偽造検知器に対するクリーンラベルバックドア攻撃を可能にするemphPoisoned Forgery Faceフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T06:31:05Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。