論文の概要: CWE-bench: Refocusing Agentic Security from Exploitation to Defense

• arxiv url: http://arxiv.org/abs/2610.17020v1
• Date: Mon, 12 Oct 2026 16:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.404571
• Title: CWE-bench: Refocusing Agentic Security from Exploitation to Defense
• Title（参考訳）: CWE-bench: 爆発から防衛へのエージェントセキュリティの見直し
• Abstract要約: CWE-benchは、73のCWEタイプ、8つの言語、トップ102025カテゴリにまたがる120のホールトアウトリポジトリ監査・リペアタスクのプライベートベンチマークである。 エージェントには、その脅威モデルに関する監査と説明のためのレポジトリが与えられるが、その弱点、発生場所、あるいは脆弱性のあるサイトがいくつあるかは明らかにされていない。 各パッチは、プログラム検証によってチェックされるように、オリジナルの機能を保持しながらエクスプロイトをブロックしなければならない。
• 参考スコア（独自算出の注目度）: 5.507051834614837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cybersecurity evaluations of AI agents have focused largely on offense, yet a working exploit does not show that an agent can make software safe. An attacker needs to exploit only one vulnerability; a defender must find and fix all of them. We introduce CWE-bench, a private benchmark of 120 held-out repository audit-and-repair tasks spanning 73 CWE types, eight languages, and all OWASP Top 10 2025 categories. Agents are given a repository to audit and a description of its threat model, but are not told the weakness, where it occurs, or how many vulnerable sites there are. Each patch must block the exploit while preserving original functionality, as checked by a programmatic verifier. We validated the verifier against a panel of agentic judges, manually reviewing disagreements during development and refining the checks. The best agents reach 68% pass@1 and 81% pass@4. We further conduct analyses showing that (i) agents with the same pass@1 differ widely in retry gains and cost, and (ii) no single agent is best across languages or vulnerability categories, and difficulty varies far more by vulnerability category than by language. As the offensive capabilities of agents improve, CWE-bench provides a broad and rigorous measure of whether their defensive capabilities keep pace.
• Abstract（参考訳）: AIエージェントのサイバーセキュリティ評価は、主に犯罪に焦点を当てているが、動作するエクスプロイトは、エージェントがソフトウェアを安全にできることを示すものではない。 攻撃者は1つの脆弱性のみを悪用する必要がある。 CWE-benchは、73のCWEタイプ、8つの言語、OWASP Top 10 2025カテゴリにまたがる120のホールトアウトリポジトリ監査・リペアタスクのプライベートベンチマークである。 エージェントには、その脅威モデルに関する監査と説明のためのレポジトリが与えられるが、その弱点、発生場所、あるいは脆弱性のあるサイトがいくつあるかは明らかにされていない。 各パッチは、プログラム検証によってチェックされるように、オリジナルの機能を保持しながらエクスプロイトをブロックしなければならない。 我々は,エージェント・ジャッジのパネルに対して検証を行い,開発中の不一致を手作業でレビューし,チェックを精査した。 最高のエージェントは68%のpass@1と81%のpass@4に達する。 さらにその分析を行う。 i)同じpass@1のエージェントは、リトライゲインとコストで大きく異なる。 (ii)単一エージェントは言語や脆弱性カテゴリで最良であり、難易度は言語よりも脆弱性カテゴリによって大きく異なる。 エージェントの攻撃能力が向上するにつれて、CWEベンチは防御能力が維持されるかどうかを広く厳格に測定する。

関連論文リスト

• Does AI Help Cyber Attackers or Defenders? Evidence from Nonpublic Vulnerabilities and Subsequent Attacks [31.927841677556774]
  脆弱性ベンチマークは、以前公開されたアドバイザリ、エクスプロイト、修正にエージェントを公開することができる。 我々は、5つの非公開ソフトウェア環境でのエクスプロイト生成、脆弱性修復、その後の攻撃について、オープンウェイトでプロプライエタリなAIモデルを評価する。
  論文  参考訳（メタデータ） (2026-10-05T16:00:23Z)
• Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
  言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。 サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。 脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
  論文  参考訳（メタデータ） (2026-09-14T17:44:51Z)
• PatchBench: Evaluating AI Agents for Vulnerability Patching [9.083611812336539]
  我々は,現実的な脆弱性パッチタスクにおいてAIエージェントを評価するための新しいベンチマークを提案する。 PatchBenchは、クラッシュスタックの外に根本修正がある脆弱性を選択し、脆弱性移植とコード修正を使用して、過去の脆弱性を新しいリポジトリコンテキストに移行する。 AIxCCエージェントのトップ3を含む11の最先端エージェントを含む、オリジナルのPoCのみの検証は、エージェントのパッチ処理の解決率を平均1.83$times$で検証する。
  論文  参考訳（メタデータ） (2026-09-03T16:44:22Z)
• Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming [8.592488240217625]
  本研究では, 1 つのエージェント研究環境を用いて, 生産用 LLM エージェントの自動リピートについて検討した。 脆弱性仮説を提案し、ファルシファイアを構築し、有効な攻撃をインスタンス化し、サンドボックス化されたハーネスで実行し、検証された結果をVulnerability Concept Graph(VCG)にプロモートする。 直接および間接的な攻撃をカバーする3つのシナリオに関するClude CodeとCodexの裏側で、発見された概念は、モデルとエージェント間で再利用可能な脆弱性コアを明らかにしている。
  論文  参考訳（メタデータ） (2026-07-13T15:31:04Z)
• ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
  低レベルのプログラム推論を必要とするため、爆発は難しい作業です。 その重要性と診断価値にもかかわらず、搾取は未評価のままである。 ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
  論文  参考訳（メタデータ） (2026-05-11T18:00:14Z)
• QASecClaw: A Multi-Agent LLM Approach for False Positive Reduction in Static Application Security Testing [0.0]
  静的アプリケーションセキュリティテストと,大規模言語モデルに基づくコンテキストコードレビューのコーディングを組み合わせたマルチエージェントアプローチであるQASecClawを提案する。 SASTエンジンが最初に脆弱性を報告し、Large Language ModelベースのSAST Filter Agentがソースコードコンテキストで各発見をレビューし、それが真正か偽正かを決定する。
  論文  参考訳（メタデータ） (2026-05-03T14:05:52Z)
• Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
  自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。 敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
  論文  参考訳（メタデータ） (2025-10-03T12:47:21Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。