論文の概要: Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use

• arxiv url: http://arxiv.org/abs/2605.02964v1
• Date: Sun, 03 May 2026 07:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.541165
• Title: Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use
• Title（参考訳）: Reward Hacking Benchmark: ツール使用によるLDMエージェントのエクスプロイトの測定
• Authors: Kunvar Thaman,
• Abstract要約: ツールアクセスを備えた強化学習(RL)訓練された言語モデルエージェントは、コーディングアシスタント、研究ツール、自律システムにますます多くデプロイされている。 本稿では,Reward Hacking Benchmark (RHB)について紹介する。 OpenAI, Anthropic, Google, DeepSeekの13のフロンティアモデルを評価した。
• 参考スコア（独自算出の注目度）: 0.016201337438609787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) trained language model agents with tool access are increasingly deployed in coding assistants, research tools, and autonomous systems. We introduce the Reward Hacking Benchmark (RHB), a suite of multi-step tasks requiring sequential tool operations with naturalistic shortcut opportunities such as skipping verification steps, inferring answers from task-adjacent metadata, or tampering with evaluation-relevant functions. RHB supports independent and chained task regimes, where chain length acts as a proxy for longer-horizon agent behavior. We evaluate 13 frontier models from OpenAI, Anthropic, Google, and DeepSeek. Exploit rates range from 0% (Claude Sonnet 4.5) to 13.9% (DeepSeek-R1-Zero), varying sharply by post-training style. A controlled sibling comparison (DeepSeek-V3 vs. DeepSeek-R1-Zero) shows RL post-training is associated with substantially higher reward hacking (0.6% vs. 13.9%), with consistent gaps across all four task families. We identify six exploit categories and find that 72% of reward hacking episodes include explicit chain-of-thought rationale, suggesting models often frame exploits as legitimate problem-solving. Simple environmental hardening reduces exploit rates by 5.7 percentage points (87.7% relative) without degrading task success. Models with near-zero exploit rates on standard tasks show elevated rates on harder variants, suggesting that production-aligned post-training appears to suppress reward hacking only below a complexity threshold where honest solutions remain tractable.
• Abstract（参考訳）: ツールアクセスを備えた強化学習(RL)訓練された言語モデルエージェントは、コーディングアシスタント、研究ツール、自律システムにますます多くデプロイされている。 Reward Hacking Benchmark(RHB)は、検証ステップのスキップ、タスク隣接メタデータからの回答の推測、評価関連関数の改ざんといった、自然なショートカットの機会を持つシーケンシャルツール操作を必要とするマルチステップタスクスイートである。 RHBは、鎖の長さが長いエージェントの振る舞いのプロキシとして機能する独立したおよび連鎖されたタスクレギュレーションをサポートする。 OpenAI, Anthropic, Google, DeepSeekの13のフロンティアモデルを評価した。 爆発率は0% (Claude Sonnet 4.5) から13.9% (DeepSeek-R1-Zero) まで様々で、訓練後に大きく変化する。 コントロールされた兄弟姉妹比較 (DeepSeek-V3 vs. DeepSeek-R1-Zero) では、RLポストトレーニングは報酬ハッキング(0.6%対13.9%)と関係があり、4つのタスクファミリで一貫したギャップがある。 我々は6つのエクスプロイトカテゴリを特定し、72%の報酬ハックエピソードには明確なチェーン・オブ・シークレットの根拠が含まれており、モデルがしばしば正当な問題解決としてエクスプロイトをフレーム化していることを示唆している。 単純な環境硬化は、タスクの成功を損なうことなく、エクスプロイト率を5.7ポイント(87.7%)削減する。 標準的なタスクにおけるほぼゼロに近いエクスプロイト率を持つモデルは、より難しいバリエーションに対して高いレートを示す。

関連論文リスト

• VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation [98.38575149237442]
  VLAA-GUIは3つの統合コンポーネントを中心に構築されたモジュラーGUIフレームワークである。 必須完全性検証は、UIで観測可能な成功基準と検証を、各完了ステップで実施する。 強制的なループブレーカは、繰り返し失敗した後、多層切替インタラクションモードを提供する。
  論文  参考訳（メタデータ） (2026-04-23T07:42:37Z)
• Terminal Wrench: A Dataset of 331 Reward-Hackable Environments and 3,632 Exploit Trajectories [30.901327091925385]
  331の端末エージェントベンチマーク環境のサブセットである Terminal Wrench をリリースする。 データセットには3,632のハックトラジェクトリと2,352の正当なベースライントラジェクトリが含まれている。 エクスプロイトは、単純な出力スプーフィングからスタックフレームのイントロスペクションまで様々である。
  論文  参考訳（メタデータ） (2026-04-19T20:04:02Z)
• Mapping the Exploitation Surface: A 10,000-Trial Taxonomy of What Makes LLM Agents Exploit Vulnerabilities [0.0]
  ツールアクセスを持つLLMエージェントは、セキュリティ脆弱性を悪用することができる。 不明なのは、システムのどの機能がこの振る舞いをトリガーし、どれがそうでないかである。 7つのモデル,37のプロンプト条件,12の仮説的攻撃次元の1万の試行に基づく系統分類を提示する。
  論文  参考訳（メタデータ） (2026-04-06T09:44:34Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Detecting and Mitigating Reward Hacking in Reinforcement Learning Systems: A Comprehensive Empirical Study [2.1797343876622097]
  強化学習システムにおけるリワードハッキングは、自律エージェントの展開に重大な脅威をもたらす。 本稿では,様々なRL環境およびアルゴリズムにおける報酬ハッキングに関する大規模な実証的研究について述べる。
  論文  参考訳（メタデータ） (2025-07-08T03:00:02Z)
• Know the Ropes: A Heuristic Strategy for LLM-based Multi-Agent System Design [27.246783209927464]
  Know-The-Ropesは、ドメインの優先順位をアルゴリズムの青写真階層に変換するフレームワークである。 3つのGPT-4o-miniエージェントは、1つのボトルネックエージェントをパッチした後、サイズ5のインスタンスで3%ゼロショットから95%に精度を上げる。
  論文  参考訳（メタデータ） (2025-05-22T17:52:33Z)
• BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
  我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。 Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
  論文  参考訳（メタデータ） (2025-05-21T07:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。