論文の概要: Limits of Machine Learning for Automatic Vulnerability Detection
- arxiv url: http://arxiv.org/abs/2306.17193v1
- Date: Wed, 28 Jun 2023 08:41:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 14:31:03.463989
- Title: Limits of Machine Learning for Automatic Vulnerability Detection
- Title(参考訳): 自動脆弱性検出のための機械学習の限界
- Authors: Niklas Risse, Marcel B\"ohme
- Abstract要約: 自動脆弱性検出のための機械学習の最近の成果は非常に有望である。
しかし、これらの結果が一般的なものであり、データセットに特有でないことをどうやって知るのか?
トレーニングセットまたはテストセットの増幅中に意味保存変換を適用するクロスバリデーションアルゴリズムを提案する。
改善されたロバスト性は、トレーニングデータ増幅時に使用される特定の変換にのみ適用される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent results of machine learning for automatic vulnerability detection have
been very promising indeed: Given only the source code of a function $f$,
models trained by machine learning techniques can decide if $f$ contains a
security flaw with up to 70% accuracy.
But how do we know that these results are general and not specific to the
datasets? To study this question, researchers proposed to amplify the testing
set by injecting semantic preserving changes and found that the model's
accuracy significantly drops. In other words, the model uses some unrelated
features during classification. In order to increase the robustness of the
model, researchers proposed to train on amplified training data, and indeed
model accuracy increased to previous levels.
In this paper, we replicate and continue this investigation, and provide an
actionable model benchmarking methodology to help researchers better evaluate
advances in machine learning for vulnerability detection. Specifically, we
propose (i) a cross validation algorithm, where a semantic preserving
transformation is applied during the amplification of either the training set
or the testing set, and (ii) the amplification of the testing set with code
snippets where the vulnerabilities are fixed. Using 11 transformations, 3 ML
techniques, and 2 datasets, we find that the improved robustness only applies
to the specific transformations used during training data amplification. In
other words, the robustified models still rely on unrelated features for
predicting the vulnerabilities in the testing data. Additionally, we find that
the trained models are unable to generalize to the modified setting which
requires to distinguish vulnerable functions from their patches.
- Abstract(参考訳): 関数のソースコードのみを$f$とすれば、マシンラーニングテクニックによってトレーニングされたモデルは、$f$が最大70%の精度でセキュリティ上の欠陥を含むかどうかを判断できる。
しかし、これらの結果が汎用的でデータセットに固有のものではないことをどうやって知るのか?
この質問を研究するために、研究者はセマンティクス保存の変更を注入することでテストセットの増幅を提案し、モデルの精度が大幅に低下することを発見した。
言い換えると、このモデルは分類中にいくつかの無関係な特徴を使用する。
モデルの堅牢性を高めるために、研究者は増幅されたトレーニングデータをトレーニングすることを提案した。
本稿では,本研究を再現・継続し,研究者が脆弱性検出のための機械学習の進歩をよりよく評価する上で有効なモデルベンチマーク手法を提案する。
具体的には
(i)トレーニングセットまたはテストセットの増幅中に意味保存変換を適用するクロス検証アルゴリズム
(ii)脆弱性が修正されたコードスニペットによるテストセットの増幅。
11の変換、3つのMLテクニック、2つのデータセットを使用して、改善された堅牢性は、トレーニングデータ増幅時に使用される特定の変換にのみ適用される。
言い換えれば、堅牢化モデルはテストデータの脆弱性を予測するために、いまだ無関係な機能に依存しています。
さらに、トレーニングされたモデルでは、脆弱性のある機能をパッチと区別する必要のある修正された設定に一般化できないことも分かりました。
関連論文リスト
- Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。
学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。
利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
論文 参考訳(メタデータ) (2023-12-25T21:25:55Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳(メタデータ) (2023-11-29T05:33:28Z) - TransferD2: Automated Defect Detection Approach in Smart Manufacturing
using Transfer Learning Techniques [1.8899300124593645]
本稿では,ソースオブジェクトのデータセット上の欠陥を正確に識別するトランスファー学習手法であるTransferD2を提案する。
提案手法は,モデルのトレーニングに不十分なデータが得られない欠陥検出アプリケーションに適用可能であり,新たな未知データ中の不完全性を特定するために拡張可能である。
論文 参考訳(メタデータ) (2023-02-26T13:24:46Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Autoencoder Attractors for Uncertainty Estimation [13.618797548020462]
本稿では,オートエンコーダモデルに基づく不確実性推定手法を提案する。
提案手法は,車室内における占有者分類の産業的応用だけでなく,いくつかのデータセットの組み合わせについても検討した。
論文 参考訳(メタデータ) (2022-04-01T12:10:06Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Detecting Errors and Estimating Accuracy on Unlabeled Data with
Self-training Ensembles [38.23896575179384]
本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。
1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
論文 参考訳(メタデータ) (2021-06-29T21:32:51Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Reachable Sets of Classifiers and Regression Models: (Non-)Robustness
Analysis and Robust Training [1.0878040851638]
分類器と回帰モデルの両方の頑健性特性を解析・拡張する。
具体的には、(非)難易度を検証し、堅牢なトレーニング手順を提案し、我々のアプローチが敵攻撃よりも優れていることを示す。
第2に、ラベル付けされていない入力に対する信頼できない予測と信頼できない予測を区別し、各特徴が予測に与える影響を定量化し、特徴ランキングを計算する技術を提供する。
論文 参考訳(メタデータ) (2020-07-28T10:58:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。