論文の概要: UntrustVul: An Automated Approach for Identifying Untrustworthy Alerts in Vulnerability Detection Models

• arxiv url: http://arxiv.org/abs/2503.14852v1
• Date: Wed, 19 Mar 2025 03:18:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:52.964012
• Title: UntrustVul: An Automated Approach for Identifying Untrustworthy Alerts in Vulnerability Detection Models
• Title（参考訳）: UntrustVul:脆弱性検出モデルにおける信頼できないアラートの自動識別手法
• Authors: Lam Nguyen Tung, Xiaoning Du, Neelofar Neelofar, Aldeida Aleti,
• Abstract要約: 信頼できない脆弱性の予測を自動で検出するUntrustVulを提案する。 F1スコア82%-94%の信頼できない予測を効果的に検出し、F1スコアで最大321%、信頼性で100%まで脆弱性を検出するモデルの能力を向上させる。
• 参考スコア（独自算出の注目度）: 7.819085445065845
• License:
• Abstract: Machine learning (ML) has shown promise in detecting vulnerabilities. To review vulnerabilities detected by ML predictions, developers manually assess suspicious lines in their interpretations. However, studies have revealed that these models often learn and predict based on irrelevant features frequently appearing in vulnerable code. This leads to predictions that may correctly flag vulnerable functions but for the wrong reasons, which we call untrustworthy. These predictions can mislead developers, hindering them from locating the vulnerabilities. This increases the efforts of manual assessment and, worse, risks creating flawed patches that fail to address existing vulnerabilities and even introduce new ones. Hence, automated approaches are needed to detect untrustworthy predictions, preventing overlooked vulnerabilities and alleviating the burden of manual assessment. We propose UntrustVul, the first automated approach to identify untrustworthy vulnerability predictions. Given a vulnerability prediction during inference, UntrustVul systematically assesses whether suspicious lines annotated by the prediction are vulnerability-unrelated. It simulates developers' rationales, considering a line unrelated if (1) it is absent from historical vulnerabilities and (2) it cannot reach any vulnerabilities in execution flows. UntrustVul assesses (1) by analysing its syntactic meaning using deep representations to determine whether it is syntax-benign. To assess (2), UntrustVul traces dependencies of the syntax-benign lines on other suspicious lines using static and rule-based analyses. We evaluate UntrustVul on 155K vulnerability predictions by four models across three datasets. UntrustVul effectively detects untrustworthy predictions with an F1-score of 82%-94% and helps improve the ability of models to detect vulnerabilities by up to 321% in F1-score and 100% in trustworthiness.
• Abstract（参考訳）: 機械学習(ML)は脆弱性の検出において有望であることを示している。 ML予測によって検出された脆弱性をレビューするために、開発者は手動で不審な行を解釈する。 しかし、研究によると、これらのモデルは脆弱性のあるコードに頻繁に現れる無関係な特徴に基づいて学習し、予測することが多い。 これにより、脆弱な関数を正しくフラグするが、誤った理由で予測される。 これらの予測は開発者を誤解させ、脆弱性の特定を妨げる。 これにより、手作業による評価の労力が増加し、さらに悪いことに、既存の脆弱性に対処できず、新たな脆弱性も導入する欠陥パッチを発生させるリスクが増大する。 したがって、信頼できない予測を検出し、見過ごされる脆弱性を防止し、手作業による評価の負担を軽減するために、自動化されたアプローチが必要である。 我々は、信頼できない脆弱性予測を識別する最初の自動化アプローチであるUntrustVulを提案する。 推論中の脆弱性予測を前提として、UntrustVulは、予測によって注釈付けされた疑わしい線が脆弱性とは無関係であるかどうかを体系的に評価する。 1)歴史的な脆弱性がない場合、(2)実行フローの脆弱性に到達できない場合、関係のないラインを考慮することで、開発者の理屈をシミュレートする。 UntrustVulは(1)を、深い表現を使って構文的意味を分析して、それが構文的良性かどうかを判断する。 (2)を評価するために、UntrustVulは静的およびルールベースの分析を使用して、他の不審な行の構文上の行の依存関係をトレースする。 我々は3つのデータセットにまたがる4つのモデルによる155Kの脆弱性予測についてUntrustVulを評価する。 UntrustVulは、F1スコアの82%から94%の信頼できない予測を効果的に検出し、F1スコアで最大321%、信頼性で100%まで脆弱性を検出するモデルの能力を向上させる。

関連論文リスト

• Are We Learning the Right Features? A Framework for Evaluating DL-Based Software Vulnerability Detection Solutions [3.204048014949849]
  本論文は,本領域における研究を適切に評価するための基盤を提供することを目的とする。 脆弱性に寄与するコードの構文的および意味的特徴に対する脆弱性データセットを分析する。 この表現は、コード内の脆弱性と突発的な機能の両方の存在を検出するのに使われます。
  論文  参考訳（メタデータ） (2025-01-23T00:32:15Z)
• Automated Trustworthiness Oracle Generation for Machine Learning Text Classifiers [9.349442247982557]
  モデルの信頼性や精度といった従来のメトリクスは、機械学習モデルに対する人間の信頼を構築するには不十分です。 予測帰属語が予測クラスに関連があるかどうかを自動的にチェックするTOKIを提案する。 また,TOKIが特定した信頼性問題を対象とした新たな敵攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T03:26:37Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• A Trustworthiness Score to Evaluate DNN Predictions [1.5484595752241122]
  ディープニューラルネットワークの予測が信頼できるか疑わしいかを知るためには、運用中の安全性が不可欠である。 信頼性スコア(TS: Trustworthiness score)は、予測に対する信頼性を提供するための、より透明で効果的な方法を提供する指標である。 人検出にYOLOv5を用いたケーススタディを行い,TSとSSの手法と使用法を実証した。
  論文  参考訳（メタデータ） (2023-01-21T00:48:18Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Can We Leverage Predictive Uncertainty to Detect Dataset Shift and Adversarial Examples in Android Malware Detection? [20.96638126913256]
  我々は6つのキャリブレーション法で4つのオフ・ザ・シェルフ検出器を変換することで、24個のAndroidマルウェア検出器を再設計し、構築する。 データ不均衡を扱う3つの指標を含む9つの指標で、不確実性を定量化します。 予測された逆例のラベルに関連する不確かさを定量化することは、オープンな問題である。
  論文  参考訳（メタデータ） (2021-09-20T16:16:25Z)
• Certifiers Make Neural Networks Vulnerable to Availability Attacks [70.69104148250614]
  私たちは初めて、逆転戦略が敵によって意図的に引き起こされる可能性があることを示します。 いくつかの入力や摂動のために自然に発生する障害に加えて、敵は故意にフォールバックを誘発するために訓練時間攻撃を使用することができる。 我々は2つの新しいアベイラビリティーアタックを設計し、これらの脅威の実用的妥当性を示す。
  論文  参考訳（メタデータ） (2021-08-25T15:49:10Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。