論文の概要: VICBench: A Multi-Language Benchmark for Code Vulnerability Detection

• arxiv url: http://arxiv.org/abs/2608.12246v1
• Date: Wed, 12 Aug 2026 16:45:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.652492
• Title: VICBench: A Multi-Language Benchmark for Code Vulnerability Detection
• Title（参考訳）: VICBench: コードの脆弱性検出のための多言語ベンチマーク
• Abstract要約: 既存の脆弱性データセットは、プログラミング言語カバレッジの制限、パッチの複雑さの制限、プロジェクトスコープの狭さに悩まされている。 ベンチマーク - VICBench - Python、Java、C++の88プロジェクトで、48のCWEタイプをカバーする100のCVEに対して、100の検証済みのVICで構成されています。 VICBenchは、平均38.6行、対応する252.5行のVICの複雑な現実世界の脆弱性修正を特徴としている。
• 参考スコア（独自算出の注目度）: 12.72412925135797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating security vulnerability detection tools requires benchmark datasets with vulnerability-inducing commits (VICs) - the commits that first introduce vulnerabilities into codebases. VICs are essential for determining the full range of vulnerable software versions. Existing vulnerability datasets suffer from limited programming language coverage, restricted patch complexity, and narrow project scope. Through our dual annotation by human experts and an agentic workflow, we create a benchmark - VICBench - of 100 verified VICs for 100 CVEs across 88 projects in Python, Java, and C++, covering 48 CWE types. VICBench features complex real-world vulnerability fixes averaging 38.6 lines and corresponding VICs of 252.5 lines - significantly larger than prior work. Our evaluation shows that state-of-the-art algorithms V-SZZ and LLM4SZZ achieve only 33.3%-40.1% F1, confirming that using existing approaches still entails significant manual effort. VICBench enables robust evaluation of vulnerability detection approaches.
• Abstract（参考訳）: セキュリティ脆弱性検出ツールの評価には、最初にコードベースに脆弱性を導入したコミットである脆弱性誘発コミット(VIC)を備えたベンチマークデータセットが必要である。 VICは、脆弱性のあるソフトウェアバージョンの全範囲を決定するのに不可欠である。 既存の脆弱性データセットは、プログラミング言語カバレッジの制限、パッチの複雑さの制限、プロジェクトスコープの狭さに悩まされている。 人間の専門家によるデュアルアノテーションとエージェントワークフローを通じて、Python、Java、C++で88のプロジェクトにわたる100のCVEで、48のCWEタイプをカバーする検証済みVICのベンチマークであるVICBenchを作成しました。 VICBenchは、平均38.6行、対応する252.5行のVICの複雑な現実世界の脆弱性修正を特徴としている。 我々の評価では、最先端のアルゴリズムであるV-SZZとLLM4SZは33.3%-40.1%のF1しか達成せず、既存の手法では依然としてかなりの手作業が必要であることを確認した。 VICBenchは脆弱性検出アプローチの堅牢な評価を可能にする。

関連論文リスト

• Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
  言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。 サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。 脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
  論文  参考訳（メタデータ） (2026-09-14T17:44:51Z)
• CyberForge: Verified Vulnerability Injection at Repository Level for Cybersecurity Agent Training [42.087410274052836]
  CyberForgeは、実際のC/C++プロジェクトに脆弱性を注入することで、実行可能なリポジトリレベルのセキュリティトレーニングデータを合成するフレームワークである。 結果として得られたコーパスには、80のプロジェクトにわたる検証済みの脆弱性1034と、63の弱点が含まれている。 このコーパスで収集された軌道の微調整により、SECのパッチの修理は+3.3から+14.7ポイント改善される。
  論文  参考訳（メタデータ） (2026-08-06T18:03:27Z)
• FuzzingBrain V2: A Multi-Agent LLM System for Automated Vulnerability Discovery and Reproduction [7.802658978010212]
  ソフトウェア脆弱性は重大なセキュリティ上の脅威となり、2025年には5万近いCVEが報告された。 大規模言語モデル(LLM)は自動脆弱性検出を約束する一方で、3つの重要な課題が残っている。 本稿では、4つの重要な貢献を通じてこれらのギャップに対処するマルチエージェントシステムFuzzingBrain V2を提案する。
  論文  参考訳（メタデータ） (2026-05-20T22:17:14Z)
• Longitudinal Analyses of SAST Tools: A CodeQL Case Study [3.5770847622955064]
  本研究では,静的アプリケーションセキュリティテスト(SAST)ツールを縦断測定により評価するための新しい手法を提案する。 当社の装置は1622リポジトリの3993 CVEで、CodeQLの114バージョンに時間をかけて適用し、ツールの重要な特性を測定します。 CodeQLは合計171のCVEを識別しており、83のCVEでは修正前のCodeQLバージョンが検出可能であることが分かりました。
  論文  参考訳（メタデータ） (2026-05-08T15:41:25Z)
• CVE-Factory: Scaling Expert-Level Agentic Tasks for Code Security Vulnerability [50.57373283154859]
  CVE-Factoryは、脆弱性タスクを自動変換するエキスパートレベルの品質を実現するための、最初のマルチエージェントフレームワークである。 最新の現実的な脆弱性についても評価され、66.2%の成功が証明されている。 コードセキュリティにおけるエージェントタスクの大規模スケーリングとして,1000以上の実行可能なトレーニング環境を合成する。
  論文  参考訳（メタデータ） (2026-02-03T02:27:16Z)
• What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs [46.325755802511026]
  我々は、LLM(Large Language Model)と細調整された小言語モデルに基づく2つのアプローチを統合するデュアルメタルパイプラインであるLMを開発した。 LMは、OOBまたはUAFの脆弱性に対処する最近のLinuxカーネルのパッチ5,140のうち111つを、手作業による検証によって90の正の正が確認された。
  論文  参考訳（メタデータ） (2025-09-26T18:06:36Z)
• VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities [41.85494398578654]
  VulnRepairEvalは、関数型Proof-of-Conceptエクスプロイトに固定された評価フレームワークである。 我々のフレームワークは、再現可能な微分評価を可能にする包括的でコンテナ化された評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2025-09-03T14:06:10Z)
• From CVE Entries to Verifiable Exploits: An Automated Multi-Agent Framework for Reproducing CVEs [23.210122086674048]
  CVE-GENIEは、現実世界の脆弱性を再現する自動化フレームワークである。 2024-2025年に発行されたCVEの51% (841の428) を再現し、CVE当たり平均2.77ドルで、検証可能なエクスプロイトを完備している。 私たちのパイプラインは、様々なアプリケーションに有用な再現可能なCVEベンチマークを生成する堅牢な方法を提供します。
  論文  参考訳（メタデータ） (2025-09-01T23:37:44Z)
• LLMxCPG: Context-Aware Vulnerability Detection Through Code Property Graph-Guided Large Language Models [2.891351178680099]
  本稿では,コードプロパティグラフ(CPG)とLarge Language Models(LLM)を統合し,堅牢な脆弱性検出を行う新しいフレームワークを提案する。 より簡潔で正確なコードスニペット表現を提供するアプローチの能力は、より大きなコードセグメントの分析を可能にします。 実証的な評価は、検証済みデータセット間でLLMxCPGの有効性を示し、最先端のベースラインよりもF1スコアが15～40%改善されている。
  論文  参考訳（メタデータ） (2025-07-22T13:36:33Z)
• CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale [45.97598662617568]
  我々は188のソフトウェアプロジェクトにわたる1,507の実際の脆弱性を特徴とする大規模ベンチマークであるCyberGymを紹介した。 我々はCyberGymが35のゼロデイ脆弱性と17の歴史的不完全なパッチを発見できることを示した。 これらの結果は、CyberGymは、サイバーセキュリティにおけるAIの進歩を測定するための堅牢なベンチマークであるだけでなく、直接的な現実世界のセキュリティ効果を生み出すためのプラットフォームでもあることを強調している。
  論文  参考訳（メタデータ） (2025-06-03T07:35:14Z)
• SecVulEval: Benchmarking LLMs for Real-World C/C++ Vulnerability Detection [8.440793630384546]
  大規模言語モデル(LLM)は、ソフトウェア工学のタスクにおいて有望であることを示している。 高品質なデータセットがないため、脆弱性検出の有効性を評価するのは難しい。 このベンチマークには、1999年から2024年までのC/C++プロジェクトで5,867のCVEをカバーする25,440の関数サンプルが含まれている。
  論文  参考訳（メタデータ） (2025-05-26T11:06:03Z)
• SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
  コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。 手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。 このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
  論文  参考訳（メタデータ） (2024-10-14T21:17:22Z)
• SliceLocator: Locating Vulnerable Statements with Graph-based Detectors [33.395068754566935]
  SliceLocatorは、すべての潜在的な脆弱性トリガリングステートメントから、最も重み付けされたフローパスを選択することで、最も関連性の高いテントフローを特定する。 SliceLocatorは、最先端の4つのGNNベースの脆弱性検知器で一貫して動作することを示す。
  論文  参考訳（メタデータ） (2024-01-05T10:15:04Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。