論文の概要: VulEval: Towards Repository-Level Evaluation of Software Vulnerability Detection
- arxiv url: http://arxiv.org/abs/2404.15596v1
- Date: Wed, 24 Apr 2024 02:16:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 14:53:37.618900
- Title: VulEval: Towards Repository-Level Evaluation of Software Vulnerability Detection
- Title（参考訳）: VulEval: ソフトウェア脆弱性検出のリポジトリレベル評価を目指して
- Authors: Xin-Cheng Wen, Xinchen Wang, Yujia Chen, Ruida Hu, David Lo, Cuiyun Gao,
- Abstract要約: textbfVulEvalという名前のリポジトリレベルの評価システムは、プロセス間およびプロセス内脆弱性の検出性能を同時に評価することを目的としている。
VulEvalは大規模データセットで構成され、合計で4,196のCVEエントリ、232,239の関数、および対応する4,699のリポジトリレベルのソースコードがC/C++プログラミング言語に含まれる。
- 参考スコア（独自算出の注目度）: 14.312197590230994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning (DL)-based methods have proven to be effective for software vulnerability detection, with a potential for substantial productivity enhancements for detecting vulnerabilities. Current methods mainly focus on detecting single functions (i.e., intra-procedural vulnerabilities), ignoring the more complex inter-procedural vulnerability detection scenarios in practice. For example, developers routinely engage with program analysis to detect vulnerabilities that span multiple functions within repositories. In addition, the widely-used benchmark datasets generally contain only intra-procedural vulnerabilities, leaving the assessment of inter-procedural vulnerability detection capabilities unexplored. To mitigate the issues, we propose a repository-level evaluation system, named \textbf{VulEval}, aiming at evaluating the detection performance of inter- and intra-procedural vulnerabilities simultaneously. Specifically, VulEval consists of three interconnected evaluation tasks: \textbf{(1) Function-Level Vulnerability Detection}, aiming at detecting intra-procedural vulnerability given a code snippet; \textbf{(2) Vulnerability-Related Dependency Prediction}, aiming at retrieving the most relevant dependencies from call graphs for providing developers with explanations about the vulnerabilities; and \textbf{(3) Repository-Level Vulnerability Detection}, aiming at detecting inter-procedural vulnerabilities by combining with the dependencies identified in the second task. VulEval also consists of a large-scale dataset, with a total of 4,196 CVE entries, 232,239 functions, and corresponding 4,699 repository-level source code in C/C++ programming languages. Our analysis highlights the current progress and future directions for software vulnerability detection.
- Abstract（参考訳）: ディープラーニング(DL)ベースの手法は、ソフトウェア脆弱性の検出に有効であることが証明されている。
現在の手法は、主に単一機能(すなわち、手続き内脆弱性)の検出に重点を置いており、実際はより複雑な手続き間脆弱性検出シナリオを無視している。
例えば、開発者は定期的にプログラム分析を行い、リポジトリ内の複数の機能にまたがる脆弱性を検出する。
さらに、広く使用されているベンチマークデータセットは一般的に、プロデュース内脆弱性のみを含んでおり、プロデュース間脆弱性検出機能の評価は未調査のままである。
そこで本稿では,システム間の脆弱性の検出性能を同時に評価することを目的とした,レポジトリレベルの評価システムであるtextbf{VulEval}を提案する。
特に、VulEvalは、3つの相互接続評価タスクで構成されている。 \textbf{(1) Function-Level Vulnerability Detection}は、コードスニペットが与えられたプロシージャ内脆弱性を検出することを目的としており、 \textbf{(2) Vulnerability-Related Dependency Prediction}は、脆弱性に関する説明を提供するためにコールグラフから最も関連性の高い依存関係を取得することを目的としており、また、 \textbf{(3) Repository-Level Vulnerability Detection}は、2番目のタスクで特定された依存関係と組み合わせることで、プロセス間脆弱性を検出することを目的としている。
VulEvalはまた、C/C++プログラミング言語の合計4,196のCVEエントリ、232,239の関数、および対応する4,699のリポジトリレベルのソースコードからなる大規模なデータセットで構成されている。
我々の分析は、ソフトウェア脆弱性検出の現在の進歩と今後の方向性を強調している。
関連論文リスト
- Collaborative Knowledge Infusion for Low-resource Stance Detection [83.88515573352795]
姿勢検出モデルを支援するために、ターゲット関連の知識がしばしば必要である。
低リソース姿勢検出タスクに対する協調的知識注入手法を提案する。
論文 参考訳（メタデータ） (2024-03-28T08:32:14Z) - Toward Improved Deep Learning-based Vulnerability Detection [6.212044762686268]
データセットの脆弱性は、コード行、関数、あるいは脆弱性が存在するプログラムスライスなど、特定の方法で表現する必要がある。
検出器は、基地ユニットがどのように脆弱であるかを学び、その後、他の基地ユニットが脆弱かどうかを予測する。
我々は、個々のベースユニットに焦点をあてることが、複数のベースユニットにまたがる脆弱性を正しく検出する検出器の能力を損なうと仮定した。
本研究は,MBU脆弱性の適切な適用に向けて,DLベースの検出を支援するためのフレームワークについて紹介する。
論文 参考訳（メタデータ） (2024-03-05T14:57:28Z) - On the Effectiveness of Function-Level Vulnerability Detectors for
Inter-Procedural Vulnerabilities [28.57872406228216]
VulTriggerという,関数間の脆弱性の追跡を行うツールを提案する。
実験の結果、VulTriggerは脆弱性トリガステートメントとプロセス間脆弱性を効果的に識別できることがわかった。
その結果, (i) 機能レベルの脆弱性検出器は, (i) 機能レベルの脆弱性検出器は, (i) 機能レベルの脆弱性検出器が, プロセス間の脆弱性の接触する機能を検出するのにはるかに効果的であることがわかった。
論文 参考訳（メタデータ） (2024-01-18T07:32:11Z) - The Vulnerability Is in the Details: Locating Fine-grained Information of Vulnerable Code Identified by Graph-based Detectors [33.395068754566935]
VULEXPLAINERは、粗いレベルの脆弱なコードスニペットから脆弱性クリティカルなコード行を見つけるためのツールである。
C/C++の一般的な8つの脆弱性に対して、90%の精度で脆弱性をトリガするコードステートメントにフラグを付けることができる。
論文 参考訳（メタデータ） (2024-01-05T10:15:04Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳（メタデータ） (2023-07-04T01:34:41Z) - Deep-Learning-based Vulnerability Detection in Binary Executables [0.0]
本稿では,リカレントニューラルネットワークを用いた教師付き深層学習手法を提案する。
LLVM中間表現を標準化した形で、脆弱なコードの50,651個のデータセットを使用する。
任意の脆弱性の存在を検出するためにバイナリ分類が確立され、正確な脆弱性を特定するためにマルチクラスモデルが訓練された。
論文 参考訳（メタデータ） (2022-11-25T10:33:33Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳（メタデータ） (2021-05-23T01:50:44Z) - Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。
実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
論文 参考訳（メタデータ） (2021-01-28T16:38:26Z) - $\mu$VulDeePecker: A Deep Learning-Based System for Multiclass
Vulnerability Detection [24.98991662345816]
VulDeePeckerと呼ばれるマルチクラス脆弱性検出のための,最初のディープラーニングベースのシステムを提案する。
関連スポンサーコンテンツ $mu$VulDeePeckerの根底にある重要な洞察は、コードアテンションの概念です。
実験によると、$mu$VulDeePeckerはマルチクラスの脆弱性検出に有効であり、制御依存性の調整がより高い検出能力をもたらす可能性がある。
論文 参考訳（メタデータ） (2020-01-08T01:47:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。