論文の概要: BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems

• arxiv url: http://arxiv.org/abs/2505.15216v1
• Date: Wed, 21 May 2025 07:44:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.201385
• Title: BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems
• Title（参考訳）: BountyBench: 現実のサイバーセキュリティシステムにAIエージェント攻撃者とディフェンダーが及ぼす影響
• Authors: Andy K. Zhang, Joey Ji, Celeste Menders, Riya Dulepet, Thomas Qin, Ron Y. Wang, Junrong Wu, Kyleen Liao, Jiliang Li, Jinghan Hu, Sara Hong, Nardos Demilew, Shivatmica Murgai, Jason Tran, Nishka Kacheria, Ethan Ho, Denis Liu, Lauren McLane, Olivia Bruvik, Dai-Rong Han, Seungwoo Kim, Akhil Vyas, Cuiyuanxiu Chen, Ryan Li, Weiran Xu, Jonathan Z. Ye, Prerit Choudhary, Siddharth M. Bhatia, Vikram Sivashankar, Yuxuan Bao, Dawn Song, Dan Boneh, Daniel E. Ho, Percy Liang,
• Abstract要約: 我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性のライフサイクルを捉えるために、3つのタスクタイプを定義します。 Detectでは、脆弱性タイプにまたがって一般的な新しい成功指標を構築し、局所評価を提供する。
• 参考スコア（独自算出の注目度）: 62.17474934536671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents have the potential to significantly alter the cybersecurity landscape. To help us understand this change, we introduce the first framework to capture offensive and defensive cyber-capabilities in evolving real-world systems. Instantiating this framework with BountyBench, we set up 25 systems with complex, real-world codebases. To capture the vulnerability lifecycle, we define three task types: Detect (detecting a new vulnerability), Exploit (exploiting a specific vulnerability), and Patch (patching a specific vulnerability). For Detect, we construct a new success indicator, which is general across vulnerability types and provides localized evaluation. We manually set up the environment for each system, including installing packages, setting up server(s), and hydrating database(s). We add 40 bug bounties, which are vulnerabilities with monetary awards from \$10 to \$30,485, and cover 9 of the OWASP Top 10 Risks. To modulate task difficulty, we devise a new strategy based on information to guide detection, interpolating from identifying a zero day to exploiting a specific vulnerability. We evaluate 5 agents: Claude Code, OpenAI Codex CLI, and custom agents with GPT-4.1, Gemini 2.5 Pro Preview, and Claude 3.7 Sonnet Thinking. Given up to three attempts, the top-performing agents are Claude Code (5% on Detect, mapping to \$1,350), Custom Agent with Claude 3.7 Sonnet Thinking (5% on Detect, mapping to \$1,025; 67.5% on Exploit), and OpenAI Codex CLI (5% on Detect, mapping to \$2,400; 90% on Patch, mapping to \$14,422). OpenAI Codex CLI and Claude Code are more capable at defense, achieving higher Patch scores of 90% and 87.5%, compared to Exploit scores of 32.5% and 57.5% respectively; in contrast, the custom agents are relatively balanced between offense and defense, achieving Exploit scores of 40-67.5% and Patch scores of 45-60%.
• Abstract（参考訳）: AIエージェントは、サイバーセキュリティの状況を大きく変える可能性がある。 この変化を理解するために、私たちは、現実世界のシステムの進化において、攻撃的かつ防御的なサイバー能力を捕獲する最初のフレームワークを紹介します。 このフレームワークをBountyBenchで実装し、複雑な実世界のコードベースを備えた25のシステムを構築しました。 脆弱性のライフサイクルを捉えるために、私たちは3つのタスクタイプを定義しています。 Detectでは、脆弱性タイプにまたがって一般的な新しい成功指標を構築し、局所評価を提供する。 パッケージのインストール、サーバのセットアップ、データベースのハイドレーションなど、各システムの環境を手動でセットアップしました。 40のバグ報奨金を加えています。これは10ドルから30,485ドルまでの金銭的賞の脆弱性で、OWASP Top 10 Risksの9つをカバーするものです。 タスクの難易度を変調するために、ゼロデイの特定から特定の脆弱性の悪用までを補間し、検出をガイドする情報に基づく新しい戦略を考案する。 Claude Code, OpenAI Codex CLI, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinkingの5つのエージェントを評価した。 最高パフォーマンスのエージェントは、Claude Code(検出:5%、マッピング:1,350)、Claude 3.7 Sonnet Thinking(検出:5%、マッピング:1,025;67.5%、エクスプロイト:67.5%)、OpenAI Codex CLI(検出:5%、マッピング:2,400;90%、パッチ:90%、マッピング:14,422)である。 OpenAI Codex CLIとClaude Codeは、それぞれ32.5%と57.5%のエクスプロイトスコアと比較して、90%と87.5%のより高いパッチスコアを達成でき、対照的に、カスタムエージェントは攻撃と防御のバランスが比較的よく、エクスプロイトスコアは40-67.5%、パッチスコアは45-60%である。

関連論文リスト

• RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
  RedCodeはリスクの高いコード実行と生成のためのベンチマークである。 RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。 RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
  論文  参考訳（メタデータ） (2024-11-12T13:30:06Z)
• Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models [33.1538965735133]
  Cybenchは、サイバーセキュリティタスクを特定し、それらのタスク上でエージェントを評価するためのフレームワークである。 4つの異なるCTFコンペティションから、40のプロフェッショナルレベルのCapture the Flag(CTF)タスクが含まれています。 GPT-4o, OpenAI o1-preview, Claude 3 Opus, Claude 3.5 Sonnet, Mixtral 8x22b Instruct, Gemini 1.5 Pro, Llama 3 70B Chat, Llama 3.1 405B Instruct。
  論文  参考訳（メタデータ） (2024-08-15T17:23:10Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 しかし、不器用なエージェントや悪意のあるエージェントがシステム全体のパフォーマンスに与える影響は、まだ解明されていない。 本稿では, 種々のシステム構造の耐震性について考察する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)
• PatchFinder: A Two-Phase Approach to Security Patch Tracing for Disclosed Vulnerabilities in Open-Source Software [15.867607171943698]
  本稿では,エンドツーエンドの相関学習を併用した2段階のフレームワークを提案する。 PatchFinderは80.63%のRecall@10、平均相反ランク(MRR)は0.7951である。 PatchFinderを実際に適用する場合、最初は533件のパッチコミットを特定し、公式に送ったのですが、そのうち482件はCVE Numbering Authoritiesによって確認されました。
  論文  参考訳（メタデータ） (2024-07-24T07:46:24Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• (De)Randomized Smoothing for Certifiable Defense against Patch Attacks [136.79415677706612]
  我々は、所定の画像とパッチ攻撃サイズを保証する、パッチ攻撃に対する認証可能な防御を導入する。 本手法はランダム化スムースなロバスト性スキームの幅広いクラスに関係している。 その結果,CIFAR-10およびImageNetに対するパッチ攻撃に対する認証済みの防御技術が確立した。
  論文  参考訳（メタデータ） (2020-02-25T08:39:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。