論文の概要: Are We Learning the Right Features?A Framework for Evaluating DL-Based Software Vulnerability Detection Solutions

• arxiv url: http://arxiv.org/abs/2501.13291v1
• Date: Thu, 23 Jan 2025 00:32:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:58:57.519199
• Title: Are We Learning the Right Features?A Framework for Evaluating DL-Based Software Vulnerability Detection Solutions
• Title（参考訳）: 正しい特徴を学習しているか?DLベースのソフトウェア脆弱性検出ソリューションの評価フレームワーク
• Authors: Satyaki Das, Syeda Tasnim Fabiha, Saad Shafiq, Nenad Medvidovic,
• Abstract要約: 本論文は,本領域における研究を適切に評価するための基盤を提供することを目的とする。 脆弱性に寄与するコードの構文的および意味的特徴に対する脆弱性データセットを分析する。 この表現は、コード内の脆弱性と突発的な機能の両方の存在を検出するのに使われます。
• 参考スコア（独自算出の注目度）: 3.204048014949849
• License:
• Abstract: Recent research has revealed that the reported results of an emerging body of DL-based techniques for detecting software vulnerabilities are not reproducible, either across different datasets or on unseen samples. This paper aims to provide the foundation for properly evaluating the research in this domain. We do so by analyzing prior work and existing vulnerability datasets for the syntactic and semantic features of code that contribute to vulnerability, as well as features that falsely correlate with vulnerability. We provide a novel, uniform representation to capture both sets of features, and use this representation to detect the presence of both vulnerability and spurious features in code. To this end, we design two types of code perturbations: feature preserving perturbations (FPP) ensure that the vulnerability feature remains in a given code sample, while feature eliminating perturbations (FEP) eliminate the feature from the code sample. These perturbations aim to measure the influence of spurious and vulnerability features on the predictions of a given vulnerability detection solution. To evaluate how the two classes of perturbations influence predictions, we conducted a large-scale empirical study on five state-of-the-art DL-based vulnerability detectors. Our study shows that, for vulnerability features, only ~2% of FPPs yield the undesirable effect of a prediction changing among the five detectors on average. However, on average, ~84% of FEPs yield the undesirable effect of retaining the vulnerability predictions. For spurious features, we observed that FPPs yielded a drop in recall up to 29% for graph-based detectors. We present the reasons underlying these results and suggest strategies for improving DNN-based vulnerability detectors. We provide our perturbation-based evaluation framework as a public resource to enable independent future evaluation of vulnerability detectors.
• Abstract（参考訳）: 最近の研究では、ソフトウェア脆弱性を検出するためのDLベースの新しい技術が、異なるデータセットや目に見えないサンプルにまたがって再現できないことが報告されている。 本論文は,本領域における研究を適切に評価するための基盤を提供することを目的とする。 従来の作業と既存の脆弱性データセットを分析して、脆弱性に寄与するコードの構文的および意味的特徴と、脆弱性と誤って相関する機能を分析します。 この表現は、コード内の脆弱性と突発的な機能の両方の存在を検出するのに使われます。 この目的のために、私たちは2つのタイプのコード摂動を設計する。機能保存摂動(FPP)は、脆弱性機能が与えられたコードサンプルに残ることを保証し、機能排除摂動(FEP)はコードサンプルから機能を排除します。 これらの摂動は、与えられた脆弱性検出ソリューションの予測に対する突発性と脆弱性の特徴の影響を測定することを目的としている。 摂動の2つのクラスが予測にどのように影響するかを評価するため、我々は5つの最先端のDLベースの脆弱性検知器について大規模な実験を行った。 本研究は、脆弱性の特徴として、FPPの約2%は、平均的に5つの検出器間で変化する予測が望ましくない効果をもたらすことを示唆している。 しかし、FEPの約84%は、脆弱性予測を維持するという望ましくない効果をもたらす。 グラフベース検出器ではFPPが最大29%のリコールを達成できた。 これらの結果の根拠として,DNNベースの脆弱性検知器の改良戦略を提案する。 我々は,脆弱性検出装置の独立的な評価を可能にするために,摂動に基づく評価フレームワークをパブリックリソースとして提供する。

関連論文リスト

• Deep Learning for Network Anomaly Detection under Data Contamination: Evaluating Robustness and Mitigating Performance Degradation [0.0]
  ディープラーニング(DL)は、サイバーセキュリティのためのネットワーク異常検出(NAD)において重要なツールとして登場した。 異常検出のためのDLモデルはデータから特徴や学習パターンを抽出するのに優れているが、データ汚染には弱い。 本研究では,データ汚染に対する6つの教師なしDLアルゴリズムのロバスト性を評価する。
  論文  参考訳（メタデータ） (2024-07-11T19:47:37Z)
• Enhancing Code Vulnerability Detection via Vulnerability-Preserving Data Augmentation [29.72520866016839]
  ソースコードの脆弱性検出は、潜在的な攻撃からソフトウェアシステムを保護するための固有の脆弱性を特定することを目的としている。 多くの先行研究は、様々な脆弱性の特徴を見落とし、問題をバイナリ(0-1)分類タスクに単純化した。 FGVulDetは、さまざまな脆弱性タイプの特徴を識別するために複数の分類器を使用し、その出力を組み合わせて特定の脆弱性タイプを特定する。 FGVulDetはGitHubの大規模なデータセットでトレーニングされており、5種類の脆弱性を含んでいる。
  論文  参考訳（メタデータ） (2024-04-15T09:10:52Z)
• PASA: Attack Agnostic Unsupervised Adversarial Detection using Prediction & Attribution Sensitivity Analysis [2.5347892611213614]
  分類のためのディープニューラルネットワークは、サンプル入力に対する小さな摂動が誤った予測につながる敵攻撃に対して脆弱である。 本研究では, モデル予測と特徴属性のこの特性の実用的手法を開発し, 対向サンプルを検出する。 本手法は,敵が防御機構を認識した場合でも,競争性能を示す。
  論文  参考訳（メタデータ） (2024-04-12T21:22:21Z)
• Vulnerability Detection with Code Language Models: How Far Are We? [40.455600722638906]
  PrimeVulは、脆弱性検出のためのコードLMのトレーニングと評価のための新しいデータセットである。 これは、人間の検証されたベンチマークに匹敵するラベルの精度を達成する、新しいデータラベリング技術を含んでいる。 また、厳密なデータ重複解消戦略と時系列データ分割戦略を実装して、データの漏洩問題を軽減している。
  論文  参考訳（メタデータ） (2024-03-27T14:34:29Z)
• Beyond Fidelity: Explaining Vulnerability Localization of Learning-based Detectors [10.316819421902363]
  近年,ディープラーニング(DL)モデルに基づく脆弱性検出装置の有効性が証明されている。 これらの検出器の意思決定プロセスを取り巻く不透明さは、セキュリティアナリストの理解を困難にしている。 グラフおよびシーケンス表現に基づく脆弱性検出のための10種類の説明手法の性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-05T07:37:35Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。