論文の概要: How Deterministic SAST and AI Security Agents Divide the Work: Coverage, Harness Policy and Cost in Snyk VulnBench 2.0

• arxiv url: http://arxiv.org/abs/2610.38617v1
• Date: Wed, 28 Oct 2026 10:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.989676
• Title: How Deterministic SAST and AI Security Agents Divide the Work: Coverage, Harness Policy and Cost in Snyk VulnBench 2.0
• Title（参考訳）: 決定論的SASTとAIセキュリティエージェントはどのように仕事を分割する: Snyk VulnBench 2.0のカバレッジ、ハーネスポリシー、コスト
• Abstract要約: VulnBench 2.0は、20のオープンソースWebアプリケーションにおいて、108のハンドキュレートされたアタッカー対応脆弱性のベンチマークである。 発見は、脆弱性のアタッカーが制御するソースと危険なシンクを見つける場合にのみ認められる。 9つの製品化構成を1つの盲点プロトコルで評価した。
• 参考スコア（独自算出の注目度）: 3.1279363497128423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask what AI coding agents and AI security harnesses find that deterministic static application security testing (SAST) does not, and what they miss that SAST catches. VulnBench 2.0 is a benchmark of 108 hand-curated, attacker-reachable vulnerabilities in 20 open-source web applications in Go, JavaScript/TypeScript, Python and Java; 62 flow across more than one file. A finding is credited only if it locates the vulnerability's attacker-controlled source and its dangerous sink, each within two lines. We evaluate nine productized configurations under one blind protocol: the Snyk Code static analyzer, Claude Code's /security-review with three model and effort settings (one with the Snyk MCP server), Codex Security with GPT-5.6 Luna, Terra and Sol, and the DeepSec scanner with two model backends. Snyk Code reached 82.4% macro recall (89 of 108) and Claude Code with Opus 5 at xhigh effort 79.3% (85 of 108); they disagree on 28 vulnerabilities, split 16 to 12, too few to tell them apart. Neither engine was sufficient alone: together they reached 101 of 108, the ceiling of all seven comparable configurations combined, and the AI configurations also reported at least seven real vulnerabilities that the reference set did not contain and Snyk Code did not report. What an AI engine misses depends on its harness as much as on its model: without Claude Code's built-in review policy, the same model matched 16 instead of 9 of the 20 vulnerabilities in the classes that policy excludes or restricts (supplementary run on 19 of 20 applications); Codex Security with GPT-5.6 Sol located 80 vulnerabilities at file level but 34 at line level; DeepSec's model-free file selection kept a file from only 56 of the 108 flows. Coverage and cost were only loosely related. The harness, fixtures, reference sets and all run data are public.
• Abstract（参考訳）: 我々は、AIコーディングエージェントとAIセキュリティハーネスが、決定論的静的アプリケーションセキュリティテスト(SAST)がそうでないことを何を見つけるのか、そして、彼らがSASTがキャッチしているものを見逃すのかを尋ねる。 VulnBench 2.0は、Go、JavaScript/TypeScript、Python、Javaの20のオープンソースWebアプリケーションにおいて、108の手作業で修正可能な脆弱性のベンチマークである。 発見は、脆弱性のアタッカーが制御するソースと危険なシンクを2行に分けた場合にのみ、認定される。 Snyk Codeの静的アナライザ、Claude Codeの/security-reviewの3つのモデルと作業設定(ひとつはSnyk MCPサーバ)、GPT-5.6 LunaによるCodex Security、TerraとSolの2つのモデルバックエンドを備えたDeepSecスキャナ。 Snyk Codeは82.4%のマクロリコール(108点中89点)、Opus 5でのClaude Codeは79.3%(108点中85点)に到達した。 また、AI設定では、参照セットが含まない実際の7つの脆弱性を報告し、Snyk Codeは報告していない。 クロードコードのビルトインレビューポリシーがなければ、同じモデルが、ポリシーを除外または制限するクラス内の20の脆弱性のうち9つではなく16と一致した(20のアプリケーションで補助的に実行される)。 カバーとコストは緩やかに関係していた。 ハーネス、フィクスチャ、参照セット、およびすべての実行データはパブリックである。

関連論文リスト

• Last Secure Code Benchmark: Is the Code You Vibe Secure? [55.718488362738924]
  Last Secure Code Benchmarkは、コーディングエージェントによるセキュアコード生成の包括的な評価である。 450のタスクは7つの広く使われている言語と24のCWEにまたがっており、2025年のCWEトップ25の21と、上位10のKEVの弱点の8つが含まれている。 最高のモデルは、すべてのビブコーディング設定にまたがる脆弱性シナリオの12%に過ぎません。
  論文  参考訳（メタデータ） (2026-10-10T09:42:56Z)
• MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
  本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。 報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。 プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
  論文  参考訳（メタデータ） (2026-09-21T01:21:06Z)
• Security Vulnerability Patterns in AI-Generated Code: A Cross-Model Comparative Study [0.0]
  リスクは特定のモデルではなく、タスクカテゴリに結びついています。 プラットフォーム間でのCVSSスコアの重み付けは10%以下であった。
  論文  参考訳（メタデータ） (2026-07-22T20:31:11Z)
• Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
  クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。 我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。 我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
  論文  参考訳（メタデータ） (2026-06-29T18:00:45Z)
• SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks? [26.62307092688903]
  SEC-bench Proは、クリティカルで複雑なソフトウェアシステム上で、エージェントバグハンティングを測定するためのベンチマークである。 V8とSpiderMonkeyにまたがる183の検証済み脆弱性でSEC-bench Proをインスタンス化する。 評価の結果,両エンジンにおいて,フロンティアモデルを用いた符号化エージェントが40%以下であることがわかった。
  論文  参考訳（メタデータ） (2026-05-26T04:59:49Z)
• Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw [87.97230960702274]
  本稿では,OpenClawの安全性評価について紹介する。 エージェントの永続状態を3次元に統一するCIK分類法を導入する。 評価では、ライブOpenClawインスタンス上の12のアタックシナリオをカバーしています。
  論文  参考訳（メタデータ） (2026-04-06T15:27:05Z)
• VibeGuard: A Security Gate Framework for AI-Generated Code [0.11080037957254413]
  AnthropicのClaude Code CLIは、npmパッケージに59.8MBのソースマップファイルを出荷し、512,000行のプロプライエタリなTypeScriptを公開している。 われわれは、5つの盲点を狙うプレパブリッシュのセキュリティゲートであるVibeGuardを提示する。 これらの結果が、AIコード生成に依存するチームにとって、詳細なワークフローにどのように影響するかについて議論する。
  論文  参考訳（メタデータ） (2026-04-01T15:57:01Z)
• BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
  我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。 Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
  論文  参考訳（メタデータ） (2025-05-21T07:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。