論文の概要: Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale

• arxiv url: http://arxiv.org/abs/2609.15939v1
• Date: Mon, 14 Sep 2026 17:44:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.538175
• Title: Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale
• Title（参考訳）: 脆弱性ローカライゼーションベンチマーク:リポジトリスケールでのエージェントセキュリティ分析の測定
• Abstract要約: 言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。 サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。 脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
• 参考スコア（独自算出の注目度）: 54.83971397981572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-model agents increasingly operate over complete software repositories, yet cybersecurity evaluations primarily measure whether they can detect, reproduce, or repair vulnerabilities rather than whether they can locate the relevant code. We study vulnerability localization: given a weakness class and an unfamiliar repository, identify the implementation files associated with that weakness. We introduce the Vulnerability Localization Benchmark (VLoc Bench), comprising 500 real world vulnerabilities from 290 repositories across six package ecosystems and 147 CWE categories. Each task pairs repository snapshots immediately before and after a security fix. On the vulnerable snapshot, an agent receives only the CWE description and read-only terminal access and must return the affected files; on the patched snapshot, it must determine that the recorded vulnerability is no longer present. We evaluate 27 language models and four static-analysis tools under a common agent interface. Repository-scale vulnerability localization remains difficult: the strongest system achieves 0.229 File F1, and 38.4% of tasks receive no correct localization from any evaluated model. We further find that stronger localization does not imply reliable behavior after remediation: systems that identify vulnerable files effectively can still report unsupported locations on patched repositories. These results establish vulnerability localization as a distinct repository-scale capability and provide a setting for studying both how security agents search for vulnerable code and when they should refrain from reporting it.
• Abstract（参考訳）: 言語モデルエージェントは、ソフトウェアリポジトリを完全に操作することが多いが、サイバーセキュリティ評価は主に、関連するコードを見つけることよりも、脆弱性を検出したり、再生したり、修復したりできるかどうかを測定する。 脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。 Vulnerability Localization Benchmark (VLoc Bench)は6つのパッケージエコシステムと147のCWEカテゴリにわたる290のリポジトリから500の現実世界の脆弱性を含む。 各タスクは、セキュリティ修正の前後でリポジトリのスナップショットをペアリングする。 脆弱性のあるスナップショットでは、エージェントはCWE記述と読み取り専用端末アクセスのみを受け取り、影響を受けるファイルを返す必要がある。 共通エージェントインタフェース下で27の言語モデルと4つの静的解析ツールを評価した。 最強のシステムは0.229ファイルF1を達成し、38.4%のタスクは評価されたモデルから正確なローカライゼーションを受けない。 さらに、より強力なローカライゼーションは、修復後の信頼性の高い振る舞いを示唆しない。脆弱性のあるファイルを効果的に識別するシステムは、パッチされたリポジトリ上ではサポートされていない場所を報告できる。 これらの結果は、脆弱性のローカライゼーションを、独自のリポジトリスケールの能力として確立し、セキュリティエージェントが脆弱なコードの検索方法と、報告を控えるべきタイミングの両方を研究するための設定を提供する。

関連論文リスト

• VulnGym: Benchmarking Coding Agents for Repository-Level Vulnerability Detection [21.17887601940535]
  VulnGymは、コーディングエージェントによる脆弱性検出を評価するためのリポジトリレベルのベンチマークである。 その中には、23リポジトリにまたがる184のアドバイザリと408の脆弱性エントリが含まれており、各エントリには、ラインレベルのエントリポイント、クリティカルオペレーション、脆弱性トレースが注釈付けされている。 VulnGymは、この微粒な基底真理を用いて、コードローカライゼーションとエビデンス構築の限界を共同で評価する、エンドツーエンド検出タスクと3つのオラクルベースのサブタスクを定義している。
  論文  参考訳（メタデータ） (2026-08-03T10:03:29Z)
• RAVEN: Agentic RAG for Automated Vulnerability Repair [48.8954115363348]
  自動脆弱性修復のためのスケーラブルで効率的で自律的なフレームワークであるRAVENを提案する。 RAVENは、エージェント検索拡張生成(RAG)パイプラインと、制御された反復的な修復を統一されたフレームワークに統合する。 RAVENは全体の修復成功率83.13%を達成し、既存のすべての修復フレームワークを上回っている。
  論文  参考訳（メタデータ） (2026-06-21T19:18:06Z)
• SecureForge: Finding and Preventing Vulnerabilities in LLM-Generated Code via Prompt Optimization [61.91729298584227]
  SecureForgeは、フロンティアモデルのセキュリティリスクを監査し、監査インフォームされたセキュアなシステムプロンプトを生成する自動化パイプラインである。 SecureForgeは、まず静的に検出可能な脆弱性を生成する良性プロンプトを特定し、その後、さまざまなシナリオの大規模な合成プロンプトコーパスに増幅する。 フロンティアモデルでは、SecureForgeは、ユニットテストの成功と出力セキュリティの両方において統計的に有意な改善をもたらし、出力脆弱性は最大48%削減された。
  論文  参考訳（メタデータ） (2026-05-08T18:40:47Z)
• VulnAgent-X: A Layered Agentic Framework for Repository-Level Vulnerability Detection [9.51089779418208]
  VulnAgentXは階層化されたエージェントフレームワークであり、軽量なリスクスクリーニング、コンテキスト拡張、特殊分析エージェント、選択的動的検証、エビデンスを統合パイプラインに融合する。 段階的、エビデンス駆動の監査プロセスは、デ・テクションの品質を改善し、偽陽性を低減し、リポジトリレベルのソフトウェアセキュリティ分析のための解釈可能な再侮辱を生成する。
  論文  参考訳（メタデータ） (2026-03-11T04:57:17Z)
• RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
  LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。 我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
  論文  参考訳（メタデータ） (2026-01-30T08:29:01Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities [41.85494398578654]
  VulnRepairEvalは、関数型Proof-of-Conceptエクスプロイトに固定された評価フレームワークである。 我々のフレームワークは、再現可能な微分評価を可能にする包括的でコンテナ化された評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2025-09-03T14:06:10Z)
• From Attack Descriptions to Vulnerabilities: A Sentence Transformer-Based Approach [0.39134914399411086]
  本稿では,攻撃のテキスト記述から脆弱性を自動的に識別する14の文変換器について検討する。 平均して、MMPNetモデルによって特定される脆弱性の56%は、アタックと合わせてCVEリポジトリ内でも表現されている。 結果のマニュアル検査により、MITREリポジトリに記録されていない275の予測リンクの存在が明らかになった。
  論文  参考訳（メタデータ） (2025-09-02T08:27:36Z)
• CommitShield: Tracking Vulnerability Introduction and Fix in Version Control Systems [15.037460085046806]
  CommitShieldは、コードコミットの脆弱性を検出するツールである。 静的解析ツールのコード解析機能と、大きな言語モデルの自然言語とコード理解機能を組み合わせる。 脆弱性修正検出タスクの最先端メソッドに対して,CommitShieldはリコールを76%～87%改善することを示す。
  論文  参考訳（メタデータ） (2025-01-07T08:52:55Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。