論文の概要: SecVulEval: Benchmarking LLMs for Real-World C/C++ Vulnerability Detection
- arxiv url: http://arxiv.org/abs/2505.19828v1
- Date: Mon, 26 May 2025 11:06:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:43.37721
- Title: SecVulEval: Benchmarking LLMs for Real-World C/C++ Vulnerability Detection
- Title（参考訳）: SecVulEval: リアルタイムC/C++脆弱性検出のためのLLMのベンチマーク
- Authors: Md Basim Uddin Ahmed, Nima Shiri Harzevili, Jiho Shin, Hung Viet Pham, Song Wang,
- Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学のタスクにおいて有望であることを示している。
高品質なデータセットがないため、脆弱性検出の有効性を評価するのは難しい。
このベンチマークには、1999年から2024年までのC/C++プロジェクトで5,867のCVEをカバーする25,440の関数サンプルが含まれている。
- 参考スコア（独自算出の注目度）: 8.440793630384546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown promise in software engineering tasks, but evaluating their effectiveness in vulnerability detection is challenging due to the lack of high-quality datasets. Most existing datasets are limited to function-level labels, ignoring finer-grained vulnerability patterns and crucial contextual information. Also, poor data quality such as mislabeling, inconsistent annotations, and duplicates can lead to inflated performance and weak generalization. Moreover, by including only the functions, these datasets miss broader program context, like data/control dependencies and interprocedural interactions, that are essential for accurately understanding real-world security flaws. Without this context, detection models are evaluated under unrealistic assumptions. To address these limitations, this paper introduces SecVulEval, a benchmark designed to support fine-grained evaluation of LLMs and other detection methods with rich contextual information. SecVulEval focuses on real-world C/C++ vulnerabilities at the statement level. This granularity enables more precise evaluation of a model's ability to localize vulnerabilities, beyond simple binary classification at the function level. By incorporating rich contextual information, SecVulEval sets a new standard for vulnerability detection benchmarks in realistic scenarios. This benchmark includes 25,440 function samples covering 5,867 unique CVEs in C/C++ projects from 1999 to 2024. We evaluated the SOTA LLMs with a multi-agent-based approach. The evaluation on our dataset shows that the models are still far from accurately predicting vulnerable statements in a given function. The best-performing Claude-3.7-Sonnet model achieves 23.83% F1-score for detecting vulnerable statements with correct reasoning. Finally, we analyze the LLM outputs and provide insights into their behavior in vulnerability detection for C/C++.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェアエンジニアリングタスクにおいて有望であるが、その脆弱性検出の有効性を評価することは、高品質なデータセットがないために困難である。
既存のデータセットのほとんどは関数レベルのラベルに限られており、よりきめ細かい脆弱性パターンや重要なコンテキスト情報を無視している。
また、ミスラベリング、一貫性のないアノテーション、重複といったデータ品質が劣ると、パフォーマンスが膨らみ、一般化が弱くなる。
さらに、関数のみを含めることで、これらのデータセットは、実際のセキュリティ欠陥を正確に理解するために不可欠な、データ/コントロールの依存関係や相互運用のインタラクションといった、より広範なプログラムコンテキストを見逃すことになる。
この文脈がなければ、検出モデルは非現実的な仮定の下で評価される。
これらの制約に対処するため, SecVulEvalは, LLMやその他の検出手法の詳細な評価を支援するために設計されたベンチマークである。
SecVulEvalは、ステートメントレベルでの現実世界のC/C++脆弱性に焦点を当てている。
この粒度は、関数レベルで単純なバイナリ分類を越えて、脆弱性をローカライズするモデルの能力をより正確に評価することを可能にする。
リッチなコンテキスト情報を統合することで、SecVulEvalは、現実的なシナリオにおける脆弱性検出ベンチマークの新しい標準を設定する。
このベンチマークには、1999年から2024年までのC/C++プロジェクトで5,867のCVEをカバーする25,440の関数サンプルが含まれている。
マルチエージェントアプローチによるSOTA LLMの評価を行った。
データセットの評価は、モデルが与えられた関数における脆弱なステートメントを正確に予測するには程遠いことを示している。
最高の性能のClaude-3.7-Sonnetモデルは23.83%のF1スコアを達成し、正しい推論で脆弱な文を検出する。
最後に、LLM出力を分析し、C/C++の脆弱性検出におけるその動作に関する洞察を提供する。
関連論文リスト
- Learning to Focus: Context Extraction for Efficient Code Vulnerability Detection with Language Models [16.23854525619129]
言語モデル(LM)は脆弱性検出の約束を示すが、脆弱で不確実な脆弱性位置のため、長く現実世界のコードに苦労する。
本研究では、LMに基づく脆弱性検出を学習し、センシティブなコンテキストを選択するモデルに依存しないフレームワークであるFocusVulを提案する。
論文 参考訳（メタデータ） (2025-05-23T04:41:54Z) - Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
大規模言語モデルは、自動脆弱性検出のための有望なツールである。
LLMは現実世界の脆弱性を検出するのに本当に効果的か?
本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
論文 参考訳（メタデータ） (2025-04-18T05:32:47Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - Vulnerability Detection with Code Language Models: How Far Are We? [40.455600722638906]
PrimeVulは、脆弱性検出のためのコードLMのトレーニングと評価のための新しいデータセットである。
これは、人間の検証されたベンチマークに匹敵するラベルの精度を達成する、新しいデータラベリング技術を含んでいる。
また、厳密なデータ重複解消戦略と時系列データ分割戦略を実装して、データの漏洩問題を軽減している。
論文 参考訳（メタデータ） (2024-03-27T14:34:29Z) - Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。
本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。
1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
論文 参考訳（メタデータ） (2024-02-19T07:15:59Z) - Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。
全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。
ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-11-16T13:17:20Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-06-23T17:59:09Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。