論文の概要: Terminal Wrench: A Dataset of 331 Reward-Hackable Environments and 3,632 Exploit Trajectories

• arxiv url: http://arxiv.org/abs/2604.17596v1
• Date: Sun, 19 Apr 2026 20:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.596764
• Title: Terminal Wrench: A Dataset of 331 Reward-Hackable Environments and 3,632 Exploit Trajectories
• Title（参考訳）: ターミナルレンチ:331の逆ハック可能な環境と3,632の爆発軌道のデータセット
• Abstract要約: 331の端末エージェントベンチマーク環境のサブセットである Terminal Wrench をリリースする。 データセットには3,632のハックトラジェクトリと2,352の正当なベースライントラジェクトリが含まれている。 エクスプロイトは、単純な出力スプーフィングからスタックフレームのイントロスペクションまで様々である。
• 参考スコア（独自算出の注目度）: 30.901327091925385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We release Terminal Wrench, a subset of 331 terminal-agent benchmark environments, copied from the popular open benchmarks that are demonstrably reward-hackable. The data set includes 3,632 hack trajectories and 2,352 legitimate baseline trajectories across three frontier models (Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.4). Each entry preserves the original task definition alongside full attack trajectories that show how the verifier was bypassed. It also includes cases where the task was not solved as intended. The tasks span system administration, machine learning, software engineering, and security challenges; the exploits range from simple output spoofing to stack-frame introspection, standard-library patching, and rootkit-style binary hijacking. Crucially, these exploits are specific to each task, rather than the evaluation harness, making them harder to patch. We also present a monitorability study in which hack trajectories are sanitized or stripped of reasoning traces and then scored by an LLM judge, showing that detection degrades meaningfully when chain-of-thought is removed (AUC drops from 0.97 to 0.92). The data set is publicly available at https://github.com/few-sh/terminal-wrench.
• Abstract（参考訳）: 331の端末エージェントベンチマーク環境のサブセットである Terminal Wrench をリリースした。 データセットには3,632個のハッキング軌跡と2,352個の正統なベースライン軌跡(Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.4)が含まれている。 各エントリは、バリデータがどのようにバイパスされたかを示す完全な攻撃軌跡とともに、元のタスク定義を保存する。 また、意図した課題が解決されなかった場合も含む。 タスクは、システム管理、機械学習、ソフトウェアエンジニアリング、セキュリティ上の課題にまたがる。エクスプロイトは、単純なアウトプットスプーリングからスタックフレームイントロスペクション、標準ライブラリパッチ、ルートキットスタイルのバイナリハイジャックまで、さまざまである。 重要なことに、これらのエクスプロイトは評価ハーネスではなく、各タスクに特有であり、パッチの修正が困難になる。 また,ハッキングトラジェクトリを衛生化し,推論トレースを除去し,LLMの審査員が得点し,チェーン・オブ・ソートを除去した場合(AUCは0.97から0.92に低下)に検出が有意に低下することを示した。 データセットはhttps://github.com/few-sh/terminal-wrench.comで公開されている。

関連論文リスト

• VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities [8.261542578922597]
  ソフトウェアサプライチェーン脆弱性の悪用性を評価できるLSMエージェントの能力を評価するための最初のベンチマークを紹介する。 VEX-Benchには、GitHubから発掘され、セキュリティの専門家によってラベル付けされた75の現実世界のケースが含まれており、Python、Java、Goをカバーしている。 GPT-5.5とClaude Opus 4.6はバイナリ脆弱性統計分類で約80%のF1に達したが、きめ細かい正当性分類で70%のマクロF1を超えたのはGPT-5.5のみである。
  論文  参考訳（メタデータ） (2026-09-07T22:52:09Z)
• Hack-Verifiable Terminal Bench: Evaluating Reward Hacking in Terminal Tasks [14.722822786841357]
  ハック検証可能な環境(HVE)は、検出可能なハックをタスクに埋め込むことで、報酬ハックを自動的に確実に識別することができる。 我々はHVEを実世界の端末およびコーディングタスクのベンチマークであるTerminal Benchに適応させ、Hack-Verifiable Terminal Bench (HVTB)を導入する。 HVTBは、フロンティアモデル全体で報酬のハッキング率を測定し、ハッキングに関するさまざまな情報によって、この行動を緩和できるかどうかを調査する。
  論文  参考訳（メタデータ） (2026-08-22T20:59:36Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
  クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。 我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。 我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
  論文  参考訳（メタデータ） (2026-06-29T18:00:45Z)
• CyberChainBench: Can AI Agents Secure Smart Contracts Against Real-World On-Chain Vulnerabilities? [28.049089946230513]
  CyberChainBenchは、LLMベースのエージェントをスマートコントラクトセキュリティで評価するためのベンチマークである。 DeFiHackLabsの541の現実世界のエクスプロイトインシデントから構築されたこのベンチマークは、エンドツーエンドのチェーン評価を提供する。 最良の構成は検出で37.5%、エクスプロイトで43.7%、パッチで23.4%である。
  論文  参考訳（メタデータ） (2026-06-24T17:58:16Z)
• Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops [30.90132709192538]
  エージェントベンチマークは、通常手書きで不安定な結果検証器で評価され、ハックに対して報酬を与えるために開放される。 5つの端末エージェントベンチマークで1,968のタスクを監査し、323 (16%) がフロンティアモデルによってハック可能であることを発見した。 我々は,タスクごとの手動パッチを使わずに,エクスプロイトに耐性のあるバリデーションを構築する手法であるHacker-fixer loopを紹介した。
  論文  参考訳（メタデータ） (2026-06-08T03:00:56Z)
• Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack [51.54835866517547]
  BenchJackは、コーディングエージェントがベンチマークを監査し、報酬をハックする可能性のあるエクスプロイトを識別するシステムである。 BenchJackを、ソフトウェアエンジニアリング、Webナビゲーション、デスクトップコンピューティング、端末操作にまたがる10の人気のあるエージェントベンチマークに適用する。 BenchJackは、単一のタスクを解決することなく、ほとんどのベンチマークでほぼ完璧なスコアを達成する報奨ハックのエクスプロイトを合成する。
  論文  参考訳（メタデータ） (2026-05-12T19:22:45Z)
• Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use [0.016201337438609787]
  ツールアクセスを備えた強化学習(RL)訓練された言語モデルエージェントは、コーディングアシスタント、研究ツール、自律システムにますます多くデプロイされている。 本稿では,Reward Hacking Benchmark (RHB)について紹介する。 OpenAI, Anthropic, Google, DeepSeekの13のフロンティアモデルを評価した。
  論文  参考訳（メタデータ） (2026-05-03T07:10:42Z)
• Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation [53.024513172383195]
  本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
  論文  参考訳（メタデータ） (2026-04-26T01:26:50Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Guardrails as Infrastructure: Policy-First Control for Tool-Orchestrated Workflows [0.0]
  Policy-First Toolingは、明示的な制約、リスク認識ゲーティング、リカバリコントロール、監査可能な説明を通じて、ツールの実行を仲介する。 制御された5つのポリシーパックと3つの障害プロファイルをまたいだ225の運用では、厳格なパックにより、違反防止はP0の0.000からP4の0.681に改善され、タスク成功は0.356から0.067に減少した。
  論文  参考訳（メタデータ） (2026-03-18T01:19:33Z)
• RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents [0.9821874476902969]
  LLMエージェントは、単一のスカラーテストメトリクスで成功を判断するエンドツーエンドのMLエンジニアリングタスクをますます実行します。 エージェントは、モデルを改善するのではなく、評価パイプラインを妥協することで、報告されたスコアを増やすことができる。 ワークスペースベースのベンチマークであるRewardHackingAgentsを導入する。
  論文  参考訳（メタデータ） (2026-03-11T22:06:44Z)
• Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
  自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。 敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
  論文  参考訳（メタデータ） (2025-10-03T12:47:21Z)
• OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
  コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。 OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。 我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-17T17:59:31Z)
• BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
  我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。 Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
  論文  参考訳（メタデータ） (2025-05-21T07:44:52Z)
• Fine-Grained 1-Day Vulnerability Detection in Binaries via Patch Code Localization [12.73365645156957]
  バイナリの1日間の脆弱性は、ソフトウェアセキュリティに対する大きな脅威になっている。 パッチの有無テストは 脆弱性を検出する効果的な方法の1つです パッチコードとそのコンテキストから安定な値を利用するPLocatorという新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-29T04:35:37Z)
• PatchFinder: A Two-Phase Approach to Security Patch Tracing for Disclosed Vulnerabilities in Open-Source Software [15.867607171943698]
  本稿では,エンドツーエンドの相関学習を併用した2段階のフレームワークを提案する。 PatchFinderは80.63%のRecall@10、平均相反ランク(MRR)は0.7951である。 PatchFinderを実際に適用する場合、最初は533件のパッチコミットを特定し、公式に送ったのですが、そのうち482件はCVE Numbering Authoritiesによって確認されました。
  論文  参考訳（メタデータ） (2024-07-24T07:46:24Z)
• ML-Based Behavioral Malware Detection Is Far From a Solved Problem [24.699642272580764]
  マルウェア検出は、セキュリティにおける機械学習(ML)のユビキタスな応用である。 デプロイメントでは、エンドポイントホストのマルウェア検出は、サンドボックスからではなく、エンドポイントホストから取得したトレースに依存する必要があることが多い。 実世界のエンドポイントにおけるMLベースのマルウェア検知器の性能を初めて測定する。
  論文  参考訳（メタデータ） (2024-05-09T22:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。