論文の概要: Beyond the Hype: A Real-World Evaluation of the Impact and Cost of
Machine Learning-Based Malware Detection
- arxiv url: http://arxiv.org/abs/2012.09214v2
- Date: Mon, 15 Mar 2021 17:37:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 02:47:23.892331
- Title: Beyond the Hype: A Real-World Evaluation of the Impact and Cost of
Machine Learning-Based Malware Detection
- Title(参考訳): ハイプを超えて:機械学習に基づくマルウェア検出の効果とコストの実世界評価
- Authors: Robert A. Bridges, Sean Oesch, Miki E. Verma, Michael D. Iannacone,
Kelly M.T. Huffer, Brian Jewell, Jeff A. Nichols, Brian Weber, Justin M.
Beaver, Jared M. Smith, Daniel Scofield, Craig Miles, Thomas Plummer, Mark
Daniell, Anne M. Tall
- Abstract要約: 市販のマルウェア検知器の科学的検査が不足している。
市場をリードする4つのマルウェア検出ツールの科学的評価を行う。
以上の結果から,4つのツールがほぼ完璧な精度で再現できることが示唆された。
- 参考スコア(独自算出の注目度): 5.876081415416375
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: There is a lack of scientific testing of commercially available malware
detectors, especially those that boast accurate classification of
never-before-seen (i.e., zero-day) files using machine learning (ML). The
result is that the efficacy and gaps among the available approaches are opaque,
inhibiting end users from making informed network security decisions and
researchers from targeting gaps in current detectors. In this paper, we present
a scientific evaluation of four market-leading malware detection tools to
assist an organization with two primary questions: (Q1) To what extent do
ML-based tools accurately classify never-before-seen files without sacrificing
detection ability on known files? (Q2) Is it worth purchasing a network-level
malware detector to complement host-based detection? We tested each tool
against 3,536 total files (2,554 or 72% malicious, 982 or 28% benign) including
over 400 zero-day malware, and tested with a variety of file types and
protocols for delivery. We present statistical results on detection time and
accuracy, consider complementary analysis (using multiple tools together), and
provide two novel applications of a recent cost-benefit evaluation procedure by
Iannaconne & Bridges that incorporates all the above metrics into a single
quantifiable cost. While the ML-based tools are more effective at detecting
zero-day files and executables, the signature-based tool may still be an
overall better option. Both network-based tools provide substantial (simulated)
savings when paired with either host tool, yet both show poor detection rates
on protocols other than HTTP or SMTP. Our results show that all four tools have
near-perfect precision but alarmingly low recall, especially on file types
other than executables and office files -- 37% of malware tested, including all
polyglot files, were undetected.
- Abstract(参考訳): 商用で利用可能なマルウェア検出装置の科学的テストが欠如しており、特に機械学習(ML)を用いて目にしない(ゼロデイ)ファイルを正確に分類している。
その結果、利用可能なアプローチの有効性とギャップは不透明であり、エンドユーザがネットワークのセキュリティ決定をインフォームドすることや、研究者が現在の検出器のギャップを狙うことを妨げている。
本稿では,市場をリードする4つのマルウェア検出ツールの科学的評価を行った。 (第1報)MLベースのツールは,既知のファイルに対する検出能力を犠牲にすることなく,どの程度正確なファイル分類を行うのか?
(Q2)ホストベースの検出を補完するネットワークレベルのマルウェア検出器を購入する価値はあるか?
それぞれのツールを,400以上のゼロデイマルウェアを含む3,536のファイル(2,554,72%,悪質982,28%)に対してテストし,さまざまなファイルタイプとプロトコルでテストしました。
本稿では,検出時間と精度に関する統計的結果を示し,(複数のツールを用いた)補完的分析を考察し,iannaconne & bridgesによる最近のコスト・ベネフィット評価手順の2つの新しい応用法を提案する。
mlベースのツールはゼロデイファイルや実行ファイルの検出に効果的だが、シグネチャベースのツールは全体的な選択肢として優れている。
どちらのネットワークベースのツールも、ホストツールとペアリングした場合にかなりの(シミュレーションされた)節約を提供するが、httpやsmtp以外のプロトコルでは検出率が低い。
以上の結果から,4つのツールはすべてほぼ完璧に正確だが,特に実行ファイルやオフィスファイル以外のファイルタイプではリコールが極めて少ないことが判明した。
関連論文リスト
- Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。
学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。
利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
論文 参考訳(メタデータ) (2023-12-25T21:25:55Z) - DRSM: De-Randomized Smoothing on Malware Classifier Providing Certified
Robustness [58.23214712926585]
我々は,マルウェア検出領域の非ランダム化スムース化技術を再設計し,DRSM(De-Randomized Smoothed MalConv)を開発した。
具体的には,実行可能ファイルの局所構造を最大に保ちながら,逆数バイトの影響を確実に抑制するウィンドウアブレーション方式を提案する。
私たちは、マルウェア実行ファイルの静的検出という領域で、認証された堅牢性を提供する最初の人です。
論文 参考訳(メタデータ) (2023-03-20T17:25:22Z) - Towards a Fair Comparison and Realistic Design and Evaluation Framework
of Android Malware Detectors [63.75363908696257]
一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。
データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。
その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
論文 参考訳(メタデータ) (2022-05-25T08:28:08Z) - MOTIF: A Large Malware Reference Dataset with Ground Truth Family Labels [21.050311121388813]
我々は、Malware Open-source Threat Intelligence Family (MOTIF)データセットを作成しました。
MOTIFには454家族の3,095のマルウェアサンプルが含まれており、最大かつ最も多様な公開マルウェアデータセットとなっている。
我々は、同じマルウェアファミリーを記述するために使われる異なる名前のエイリアスを提供し、既存のツールの精度を初めてベンチマークすることができる。
論文 参考訳(メタデータ) (2021-11-29T23:59:50Z) - Mate! Are You Really Aware? An Explainability-Guided Testing Framework
for Robustness of Malware Detectors [49.34155921877441]
マルウェア検出装置のロバスト性を示すための説明可能性誘導型およびモデルに依存しないテストフレームワークを提案する。
次に、このフレームワークを使用して、操作されたマルウェアを検出する最先端のマルウェア検知器の能力をテストする。
我々の発見は、現在のマルウェア検知器の限界と、その改善方法に光を当てた。
論文 参考訳(メタデータ) (2021-11-19T08:02:38Z) - Leveraging Uncertainty for Improved Static Malware Detection Under
Extreme False Positive Constraints [21.241478970181912]
本研究では,静的マルウェア検出のための機械学習手法のアンサンブル処理とベイズ処理により,モデル誤りの同定精度が向上することを示す。
特に,本研究では,従来手法で期待されていた0.69から0.80まで,実際に実現された1e-5のFPRにおける真の正の率(TPR)を,Sophos業界スケールデータセット上で最高のモデルクラスで改善する。
論文 参考訳(メタデータ) (2021-08-09T14:30:23Z) - Malware Analysis with Artificial Intelligence and a Particular Attention
on Results Interpretability [0.0]
本稿では,バイナリファイルからグレースケール画像への変換に基づくモデルを提案する。
サンプルが充填されているか、85%の精度で暗号化されているかを決定することができる。
この種のツールは、一般的な検出モデルの解釈可能性の欠如を補うデータアナリストにとって非常に有用であるべきです。
論文 参考訳(メタデータ) (2021-07-23T09:40:05Z) - Towards an Automated Pipeline for Detecting and Classifying Malware
through Machine Learning [0.0]
Windows Portable Executable File (PE) を分類できるマルウェア分類パイプラインを提案する。
入力PEサンプルが与えられた場合、悪意または良性のいずれかに分類される。
悪意のある場合、パイプラインは脅威タイプ、家族、行動を確立するためにさらに分析する。
論文 参考訳(メタデータ) (2021-06-10T10:07:50Z) - Adversarial EXEmples: A Survey and Experimental Evaluation of Practical
Attacks on Machine Learning for Windows Malware Detection [67.53296659361598]
EXEmplesは、比較的少ない入力バイトを摂動することで、機械学習に基づく検出をバイパスすることができる。
我々は、機械学習モデルに対する過去の攻撃を包含し、一般化するだけでなく、3つの新たな攻撃を含む統一フレームワークを開発する。
これらの攻撃はFull DOS、Extended、Shiftと呼ばれ、DOSヘッダをそれぞれ操作し、拡張し、第1セクションの内容を変更することで、敵のペイロードを注入する。
論文 参考訳(メタデータ) (2020-08-17T07:16:57Z) - Detecting malicious PDF using CNN [46.86114958340962]
悪意のあるPDFファイルは、コンピュータセキュリティに対する最大の脅威の1つだ。
本稿では,ファイルのバイトレベルにおける畳み込みニューラルネットワーク(CNN)のアンサンブルを用いた新しいアルゴリズムを提案する。
オンラインでダウンロード可能な90000ファイルのデータセットを用いて,本手法はPDFマルウェアの高検出率(94%)を維持していることを示す。
論文 参考訳(メタデータ) (2020-07-24T18:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。