論文の概要: Beyond Fidelity: Explaining Vulnerability Localization of Learning-based
Detectors
- arxiv url: http://arxiv.org/abs/2401.02686v2
- Date: Wed, 21 Feb 2024 15:32:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 19:25:51.375259
- Title: Beyond Fidelity: Explaining Vulnerability Localization of Learning-based
Detectors
- Title（参考訳）: Beyond Fidelity: 学習ベース検出器の脆弱性ローカライゼーションについて
- Authors: Baijun Cheng, Shengming Zhao, Kailong Wang, Meizhen Wang, Guangdong
Bai, Ruitao Feng, Yao Guo, Lei Ma, Haoyu Wang
- Abstract要約: 近年,ディープラーニング(DL)モデルに基づく脆弱性検出装置の有効性が証明されている。
これらの検出器の意思決定プロセスを取り巻く不透明さは、セキュリティアナリストの理解を困難にしている。
グラフおよびシーケンス表現に基づく脆弱性検出のための10種類の説明手法の性能評価を行った。
- 参考スコア（独自算出の注目度）: 10.316819421902363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vulnerability detectors based on deep learning (DL) models have proven their
effectiveness in recent years. However, the shroud of opacity surrounding the
decision-making process of these detectors makes it difficult for security
analysts to comprehend. To address this, various explanation approaches have
been proposed to explain the predictions by highlighting important features,
which have been demonstrated effective in other domains such as computer vision
and natural language processing. Unfortunately, an in-depth evaluation of
vulnerability-critical features, such as fine-grained vulnerability-related
code lines, learned and understood by these explanation approaches remains
lacking. In this study, we first evaluate the performance of ten explanation
approaches for vulnerability detectors based on graph and sequence
representations, measured by two quantitative metrics including fidelity and
vulnerability line coverage rate. Our results show that fidelity alone is not
sufficient for evaluating these approaches, as fidelity incurs significant
fluctuations across different datasets and detectors. We subsequently check the
precision of the vulnerability-related code lines reported by the explanation
approaches, and find poor accuracy in this task among all of them. This can be
attributed to the inefficiency of explainers in selecting important features
and the presence of irrelevant artifacts learned by DL-based detectors.
- Abstract（参考訳）: 近年,ディープラーニング(DL)モデルに基づく脆弱性検出装置の有効性が証明されている。
しかし、これらの検出器の意思決定プロセスを取り巻く不透明さは、セキュリティアナリストの理解を困難にしている。
これに対処するために,コンピュータビジョンや自然言語処理といった他の領域で有効な重要な特徴を強調することにより,予測を説明するための様々な説明手法が提案されている。
残念ながら、詳細な脆弱性関連コード行などの脆弱性クリティカルな機能の詳細な評価は、これらの説明によって学習され、理解されている。
本研究では,まず,グラフおよびシーケンス表現に基づく脆弱性検出のための10個の説明手法の性能を,忠実度と脆弱性線カバレッジ率を含む2つの定量的指標を用いて評価した。
その結果、忠実性だけではこれらのアプローチを評価するには不十分であり、忠実性は異なるデータセットや検出器にまたがる大きな変動を引き起こすことが分かった。
その後,説明手法によって報告された脆弱性関連コード行の精度を確認し,そのタスクの精度の低下を確認した。
これは、重要な特徴の選択における説明者の非効率性と、dlベースの検出器によって学習された無関係なアーティファクトの存在に起因する。
関連論文リスト
- Deep Learning for Network Anomaly Detection under Data Contamination: Evaluating Robustness and Mitigating Performance Degradation [0.0]
ディープラーニング(DL)は、サイバーセキュリティのためのネットワーク異常検出(NAD)において重要なツールとして登場した。
異常検出のためのDLモデルはデータから特徴や学習パターンを抽出するのに優れているが、データ汚染には弱い。
本研究では,データ汚染に対する6つの教師なしDLアルゴリズムのロバスト性を評価する。
論文 参考訳（メタデータ） (2024-07-11T19:47:37Z) - Enhancing Code Vulnerability Detection via Vulnerability-Preserving Data Augmentation [29.72520866016839]
ソースコードの脆弱性検出は、潜在的な攻撃からソフトウェアシステムを保護するための固有の脆弱性を特定することを目的としている。
多くの先行研究は、様々な脆弱性の特徴を見落とし、問題をバイナリ(0-1)分類タスクに単純化した。
FGVulDetは、さまざまな脆弱性タイプの特徴を識別するために複数の分類器を使用し、その出力を組み合わせて特定の脆弱性タイプを特定する。
FGVulDetはGitHubの大規模なデータセットでトレーニングされており、5種類の脆弱性を含んでいる。
論文 参考訳（メタデータ） (2024-04-15T09:10:52Z) - Toward Improved Deep Learning-based Vulnerability Detection [6.212044762686268]
データセットの脆弱性は、コード行、関数、あるいは脆弱性が存在するプログラムスライスなど、特定の方法で表現する必要がある。
検出器は、基地ユニットがどのように脆弱であるかを学び、その後、他の基地ユニットが脆弱かどうかを予測する。
我々は、個々のベースユニットに焦点をあてることが、複数のベースユニットにまたがる脆弱性を正しく検出する検出器の能力を損なうと仮定した。
本研究は,MBU脆弱性の適切な適用に向けて,DLベースの検出を支援するためのフレームワークについて紹介する。
論文 参考訳（メタデータ） (2024-03-05T14:57:28Z) - Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage? [35.15844215216846]
EDL法は,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する。
近年の研究では、学習した不確実性は信頼できないと結論づける既存の方法の限界が特定されている。
本研究では,多種多様な目的関数を統一することにより,多種多様なEDL手法の挙動をより深く理解する。
我々は,EDL法が下流タスクに実証的に有効であるとしても,不確実な定量化能力に乏しいにもかかわらず,これは発生すると結論付けた。
論文 参考訳（メタデータ） (2024-02-09T03:23:39Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - On the Onset of Robust Overfitting in Adversarial Training [66.27055915739331]
Adversarial Training (AT)は、堅牢なニューラルネットワークを構築するために広く使われているアルゴリズムである。
ATは、堅牢なオーバーフィッティングの問題に悩まされているが、その基本的なメカニズムはまだ不明だ。
論文 参考訳（メタデータ） (2023-10-01T07:57:03Z) - Improving Cross-dataset Deepfake Detection with Deep Information
Decomposition [57.284370468207214]
ディープフェイク技術は、セキュリティと社会的信頼に重大な脅威をもたらす。
既存の検出方法は、クロスデータセットのシナリオに直面した場合、パフォーマンスの急激な低下に悩まされる。
本稿では,深層情報分解(DID)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-30T12:30:25Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Disentangled Text Representation Learning with Information-Theoretic
Perspective for Adversarial Robustness [17.5771010094384]
敵の脆弱性は信頼性の高いNLPシステムを構築する上で大きな障害である。
最近の研究は、モデルの敵意的な脆弱性は教師あり訓練における非破壊的な特徴によって引き起こされると主張している。
本稿では,不整合表現学習の観点から,敵対的課題に取り組む。
論文 参考訳（メタデータ） (2022-10-26T18:14:39Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。