論文の概要: VulnBump: A Benchmark for Fixing Vulnerable Dependencies in Real Projects While Keeping the Build and Tests Green
- arxiv url: http://arxiv.org/abs/2610.17374v1
- Date: Mon, 12 Oct 2026 20:33:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 19:13:26.724
- Title: VulnBump: A Benchmark for Fixing Vulnerable Dependencies in Real Projects While Keeping the Build and Tests Green
- Title（参考訳）: VulnBump: ビルドとテストのグリーンを維持しながら、実際のプロジェクトの脆弱性依存を修正するベンチマーク
- Abstract要約: VulnBump: 6つのパッケージマネージャにわたる43のリポジトリで2,066の修正可能な脆弱性をカバーする307のアップグレードタスク。
Snykの推奨バージョンのみを適用した非アジェンティックベースラインは46.9%のアップグレードをパスしている。
Claude Codeは、主に脆弱性を残しますが、Evo Remediation Agentの失敗のほとんどは、ビルドやテストを破壊します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software composition analysis (SCA) tools report far more vulnerable dependencies than teams fix: in Snyk Open Source production data, 94% of vulnerability findings have a known fixed version, yet only about 10% are resolved. Agentic coding tools could close this gap, but no benchmark evaluates them on vulnerability-driven upgrades in real, runnable projects across ecosystems, verified independently of the agent. We present VulnBump: 307 upgrade tasks covering 2,066 fixable vulnerabilities in 43 repositories across six package managers, matched to Snyk Open Source production vulnerability distributions. An upgrade passes only if, in a fresh container, dependencies resolve, a rescan shows the targeted vulnerabilities fixed, the project builds, and every previously passing test still passes. A non-agentic baseline that only applies Snyk's recommended version passes 46.9% of upgrades; with the same model (Claude Sonnet 5.5), Snyk's Evo Remediation Agent passes 90.2%, Claude Code + Snyk scan 77.5% and Claude Code unaided 59.6%. The agents fail in opposite ways: Claude Code mostly leaves the vulnerability in place, whereas most of Evo Remediation Agent's failures break the build or tests. An SCA scanner is a key tool for agents: Snyk's guidance raises Claude Code's PASS rate by 17.9 percentage points; without it, Claude Code often settles on a still-vulnerable version. Yet knowing the target is not enough: given the same Snyk findings, Evo Remediation Agent's purpose-built harness passes 12.7 points more than Claude Code + Snyk scan. Major framework migrations remain hard for all harnesses. Because the agents keep projects working at similar rates, evaluating remediation quality in dependency upgrades requires verifying the fix, the build and the tests together.
- Abstract（参考訳）: ソフトウェア構成分析(SCA)ツールは、チームが修正するよりもはるかに脆弱な依存関係を報告している。 Snykオープンソースプロダクションデータでは、脆弱性発見の94%が既知の固定バージョンを持っているが、約10%しか解決されていない。
エージェントコーディングツールは、このギャップを埋めることができますが、エージェントとは独立して、実際の実行可能プロジェクトの脆弱性駆動アップグレードを評価するベンチマークはありません。
VulnBump: 307のアップグレードタスクは、6つのパッケージマネージャにわたる43のリポジトリで2,066の修正可能な脆弱性をカバーしています。
アップグレードがパスするのは、新しいコンテナでは、依存関係が解決され、対象とする脆弱性が修正され、プロジェクトがビルドされ、以前パスしたテストがパスされた場合のみである。
Snykの推奨バージョンのみを適用した非エージェントベースラインは46.9%のアップグレードをパスし、同じモデル(Claude Sonnet 5.5)、SnykのEvo Remediation Agentが90.2%、Claude Code + Snyk scan 77.5%、Claude Codeが59.6%だった。
Claude Codeは、主に脆弱性を残しているのに対して、Evo Remediation Agentの失敗のほとんどは、ビルドやテストを破壊している。
Snyk氏のガイダンスは、Claude CodeのPASSレートを17.9%引き上げる。
同じSnykの発見から、Evo Remediation Agentの目的とするハーネスは、Claude Code + Snykスキャンよりも12.7ポイント高い。
主要なフレームワークの移行は、すべてのハーネスにとって難しいままです。
エージェントはプロジェクトを同様の速度で作業し続けるため、依存関係のアップグレードにおける修正品質を評価するには、修正、ビルド、テストを一緒に検証する必要があります。
関連論文リスト
- EviRepair: Evidence-Driven Agents for Reliable Vulnerability Repair [55.22600943144124]
リポジトリレベルの脆弱性修復のためのエビデンス駆動型マルチエージェントフレームワークであるEviRepairを提案する。
EviRepairは、エージェントが協力して証拠を収集できるようにすることによって、修復プロセスにエビデンスレビューを導入する。
PatchEvalとSecBenchベンチマークの実験は、EviRepairが既存のエージェントベースのベースラインを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-10-09T12:22:43Z) - MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。
報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。
プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
論文 参考訳（メタデータ） (2026-09-21T01:21:06Z) - Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。
サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。
脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
論文 参考訳（メタデータ） (2026-09-14T17:44:51Z) - VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities [8.261542578922597]
ソフトウェアサプライチェーン脆弱性の悪用性を評価できるLSMエージェントの能力を評価するための最初のベンチマークを紹介する。
VEX-Benchには、GitHubから発掘され、セキュリティの専門家によってラベル付けされた75の現実世界のケースが含まれており、Python、Java、Goをカバーしている。
GPT-5.5とClaude Opus 4.6はバイナリ脆弱性統計分類で約80%のF1に達したが、きめ細かい正当性分類で70%のマクロF1を超えたのはGPT-5.5のみである。
論文 参考訳（メタデータ） (2026-09-07T22:52:09Z) - Scanning the Harness: An Empirical Study of Supply-Chain Defects in AI Coding-Agent Configurations [0.0]
Claude Code、Cursor、GitHub Copilot、OpenAI CodexといったAIコーディングエージェントは、開発者が書いて共有するアーティファクトによって構成されている。
このハーネスは、マーケットプレースとパブリックリポジトリからインストールされた依存性レイヤで、開発者の権限で実行される。
2つ以上のコンポーネントタイプを組み立てる2,660のセットアップと、511の公開されたスキルコレクションです。
論文 参考訳（メタデータ） (2026-09-07T11:27:24Z) - Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。
我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。
我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
論文 参考訳（メタデータ） (2026-06-29T18:00:45Z) - SWE-Chain: Benchmarking Coding Agents on Chained Release-Level Package Upgrades [39.982345937919725]
SWE-Chainは、チェーン化されたリリースレベルのパッケージアップグレードでエージェントを評価するためのベンチマークである。
9つの実際のPythonパッケージに12のアップグレードチェーンがあり、155バージョンの移行と1,660のアップグレード要件がある。
その結果、SWE-Chainは実現可能かつ差別的であり、既存のエージェントが既存の機能を壊さずに正しいアップグレードを行うのに苦労していることが明らかとなった。
論文 参考訳（メタデータ） (2026-05-14T06:04:40Z) - Synthesizing Multi-Agent Harnesses for Vulnerability Discovery [8.518689779459974]
LLMエージェントは、人間の監査官や自動ファジッターが何十年も見逃していた、真のセキュリティ脆弱性を見つけ始めている。
実際には、作業は複数のエージェントに分割され、ハーネスによってワイヤリングされる。どの役割が存在するかを修正するプログラム、どのように情報を渡すか、どのツールを呼び出すか、リトライがどのように調整されるかである。
AgentFlowは、エージェントの役割、プロンプト、ツール、通信トポロジ、調整プロトコルを共同でカバーする型付きグラフDSLで、両方の制限に対処する。
論文 参考訳（メタデータ） (2026-04-22T17:27:40Z) - BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。
脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。
Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
論文 参考訳（メタデータ） (2025-05-21T07:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。