論文の概要: Can We Leverage Predictive Uncertainty to Detect Dataset Shift and
Adversarial Examples in Android Malware Detection?
- arxiv url: http://arxiv.org/abs/2109.09654v1
- Date: Mon, 20 Sep 2021 16:16:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:13:52.220464
- Title: Can We Leverage Predictive Uncertainty to Detect Dataset Shift and
Adversarial Examples in Android Malware Detection?
- Title（参考訳）: Androidのマルウェア検出におけるデータセットシフトと逆例検出の予測不確かさを活用できるか?
- Authors: Deqiang Li and Tian Qiu and Shuo Chen and Qianmu Li and Shouhuai Xu
- Abstract要約: 我々は6つのキャリブレーション法で4つのオフ・ザ・シェルフ検出器を変換することで、24個のAndroidマルウェア検出器を再設計し、構築する。
データ不均衡を扱う3つの指標を含む9つの指標で、不確実性を定量化します。
予測された逆例のラベルに関連する不確かさを定量化することは、オープンな問題である。
- 参考スコア（独自算出の注目度）: 20.96638126913256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The deep learning approach to detecting malicious software (malware) is
promising but has yet to tackle the problem of dataset shift, namely that the
joint distribution of examples and their labels associated with the test set is
different from that of the training set. This problem causes the degradation of
deep learning models without users' notice. In order to alleviate the problem,
one approach is to let a classifier not only predict the label on a given
example but also present its uncertainty (or confidence) on the predicted
label, whereby a defender can decide whether to use the predicted label or not.
While intuitive and clearly important, the capabilities and limitations of this
approach have not been well understood. In this paper, we conduct an empirical
study to evaluate the quality of predictive uncertainties of malware detectors.
Specifically, we re-design and build 24 Android malware detectors (by
transforming four off-the-shelf detectors with six calibration methods) and
quantify their uncertainties with nine metrics, including three metrics dealing
with data imbalance. Our main findings are: (i) predictive uncertainty indeed
helps achieve reliable malware detection in the presence of dataset shift, but
cannot cope with adversarial evasion attacks; (ii) approximate Bayesian methods
are promising to calibrate and generalize malware detectors to deal with
dataset shift, but cannot cope with adversarial evasion attacks; (iii)
adversarial evasion attacks can render calibration methods useless, and it is
an open problem to quantify the uncertainty associated with the predicted
labels of adversarial examples (i.e., it is not effective to use predictive
uncertainty to detect adversarial examples).
- Abstract（参考訳）: 悪意のあるソフトウェア(マルウェア)を検出するためのディープラーニングアプローチは有望だが、データセットシフトの問題、すなわち、サンプルとテストセットに関連するラベルの共分散が、トレーニングセットのそれとは異なる、という課題にまだ取り組んでいない。
この問題は、ユーザの注意を払わずにディープラーニングモデルの劣化を引き起こす。
問題を緩和するためには、分類器が与えられた例にラベルを予測させるだけでなく、予測されたラベルにその不確実性(または自信)を示すようにし、ディフェンダーが予測されたラベルを使用するかどうかを判断できる。
直感的で明らかに重要であるが、このアプローチの能力と制限はよく理解されていない。
本稿では,マルウェア検出装置の予測不確実性の質を評価するための実証的研究を行う。
具体的には、24のandroidマルウェア検出器を設計、構築し、データ不均衡を扱う3つのメトリクスを含む9つのメトリクスで不確実性を定量化します。
私たちの主な発見は
(i) 予測的不確実性は、データセットシフトが存在する場合において、信頼できるマルウェア検出を達成するのに役立つが、敵対的回避攻撃には対処できない。
(ii)近似ベイズ法では,データセットシフトに対処するマルウェア検出器の校正と一般化が期待されているが,敵対的回避攻撃には対処できない。
(iii)逆境回避攻撃は校正手法を役に立たず、予測された逆境例のラベルに関連する不確かさを定量化する(すなわち、予測的不確実性を用いて逆境例を検出することは効果的ではない)。
関連論文リスト
- Cost-Sensitive Uncertainty-Based Failure Recognition for Object Detection [1.8990839669542954]
本稿では,ユーザ定義予算に合わせて,オブジェクト検出のためのコスト感受性フレームワークを提案する。
性能劣化を防ぐために最低限の閾値設定要件を導出する。
エラー認識率を最大化するために、しきい値処理の自動化と最適化を行う。
論文 参考訳（メタデータ） (2024-04-26T14:03:55Z) - Bayesian Learned Models Can Detect Adversarial Malware For Free [28.498994871579985]
対数訓練は有効な方法であるが、大規模データセットにスケールアップするには計算コストがかかる。
特にベイズ式はモデルパラメータの分布を捉えることができ、モデル性能を犠牲にすることなく不確実性を定量化することができる。
ベイズ学習法で不確実性を定量化することで、敵のマルウェアを防御できることがわかった。
論文 参考訳（メタデータ） (2024-03-27T07:16:48Z) - Credible Teacher for Semi-Supervised Object Detection in Open Scene [106.25850299007674]
Open Scene Semi-Supervised Object Detection (O-SSOD)では、ラベル付きデータはラベル付きデータで観測されていない未知のオブジェクトを含む可能性がある。
より不確実性が、偽ラベルのローカライズと分類精度の低下につながるため、主に自己学習に依存する現在の手法には有害である。
我々は,不確実な擬似ラベルがモデルに誤解をもたらすのを防ぐための,エンドツーエンドのフレームワークであるCredible Teacherを提案する。
論文 参考訳（メタデータ） (2024-01-01T08:19:21Z) - Token-Level Adversarial Prompt Detection Based on Perplexity Measures
and Contextual Information [67.78183175605761]
大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。
この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。
トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-20T03:17:21Z) - How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-07T12:02:00Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - A Data-Driven Measure of Relative Uncertainty for Misclassification
Detection [25.947610541430013]
誤分類検出のための観測者に対して,不確実性に関するデータ駆動測度を導入する。
ソフト予測の分布パターンを学習することにより,不確実性を測定することができる。
複数の画像分類タスクに対する経験的改善を示し、最先端の誤分類検出方法より優れていることを示す。
論文 参考訳（メタデータ） (2023-06-02T17:32:03Z) - A two-steps approach to improve the performance of Android malware
detectors [4.440024971751226]
マルウェア検知器の性能を高めるための教師付き表現学習法であるGUIDED ReTRAINingを提案する。
265k以上のマルウェアと良性アプリを用いて,最先端の4つのAndroidマルウェア検出手法を検証した。
本手法は汎用的であり,二項分類タスクにおける分類性能を向上させるように設計されている。
論文 参考訳（メタデータ） (2022-05-17T12:04:17Z) - Robustly-reliable learners under poisoning attacks [38.55373038919402]
複数の軸にまたがる攻撃に直面して強靭性を保証する方法を示す。
我々は、敵が所定の汚職予算を超過していない限り、予測されたラベルが正しいことが保証される、信頼性の高い予測を提供する。
注目すべきは、この設定における学習可能性の完全な特徴付け、特に、認定可能な領域上の上と下の境界にほぼ整合するものである。
論文 参考訳（メタデータ） (2022-03-08T15:43:33Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳（メタデータ） (2021-10-12T17:21:41Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳（メタデータ） (2021-03-04T20:51:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。