論文の概要: The Impact of Train-Test Leakage on Machine Learning-based Android Malware Detection

• arxiv url: http://arxiv.org/abs/2410.19364v1
• Date: Fri, 25 Oct 2024 08:04:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:45.250093
• Title: The Impact of Train-Test Leakage on Machine Learning-based Android Malware Detection
• Title（参考訳）: トレインテスト漏れが機械学習ベースのAndroidマルウェア検出に及ぼす影響
• Authors: Guojun Liu, Doina Caragea, Xinming Ou, Sankardas Roy,
• Abstract要約: 同一またはほぼ同一のアプリ表現を持つ異なるAndroidアプリを特定します。 これは、機械学習モデルのパフォーマンスを膨らませるデータリークの問題につながる。 機械学習ベースのAndroidマルウェア検知器を構築するためのリーク認識方式を提案する。
• 参考スコア（独自算出の注目度）: 6.9053043489744015
• License:
• Abstract: When machine learning is used for Android malware detection, an app needs to be represented in a numerical format for training and testing. We identify a widespread occurrence of distinct Android apps that have identical or nearly identical app representations. In particular, among app samples in the testing dataset, there can be a significant percentage of apps that have an identical or nearly identical representation to an app in the training dataset. This will lead to a data leakage problem that inflates a machine learning model's performance as measured on the testing dataset. The data leakage not only could lead to overly optimistic perceptions on the machine learning models' ability to generalize beyond the data on which they are trained, in some cases it could also lead to qualitatively different conclusions being drawn from the research. We present two case studies to illustrate this impact. In the first case study, the data leakage inflated the performance results but did not impact the overall conclusions made by the researchers in a qualitative way. In the second case study, the data leakage problem would have led to qualitatively different conclusions being drawn from the research. We further propose a leak-aware scheme to construct a machine learning-based Android malware detector, and show that it can improve upon the overall detection performance.
• Abstract（参考訳）: Androidのマルウェア検出に機械学習を使用する場合、アプリはトレーニングとテストのために数値形式で表現する必要がある。 同一あるいはほぼ同一のアプリ表現を持つ異なるAndroidアプリの出現が広く確認されている。 特に、テストデータセットにあるアプリのサンプルのうち、トレーニングデータセット内のアプリと同一あるいはほぼ同一の表現を持つアプリのかなりの割合が存在する可能性がある。 これにより、テストデータセットで測定されたマシンラーニングモデルのパフォーマンスを膨らませるデータリーク問題が発生する。 データ漏洩は、機械学習モデルのトレーニングデータを超えて一般化する能力に対する過度に楽観的な認識をもたらすだけでなく、場合によっては、研究から引き出された定性的に異なる結論につながる可能性がある。 この影響を説明するためのケーススタディを2つ提示する。 最初のケーススタディでは、データ漏洩はパフォーマンス結果を膨らませたものの、質的な方法で研究者が行った全体的な結論には影響を与えなかった。 第2のケーススタディでは、データ漏洩の問題により、研究から質的に異なる結論が導かれることになった。 さらに,機械学習ベースのAndroidマルウェア検出システムを構築するためのリークアウェア方式を提案し,全体的な検出性能を向上させることを示す。

関連論文リスト

• A Survey of Malware Detection Using Deep Learning [6.349503549199403]
  本稿では,ディープラーニング(DL)を用いたWindows,iOS,Android,Linuxにおけるマルウェア検出の進歩について検討する。 本稿では,DL分類器を用いたマルウェア検出の問題点と課題について論じる。 各種データセットに対する8つの一般的なDLアプローチについて検討する。
  論文  参考訳（メタデータ） (2024-07-27T02:49:55Z)
• Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
  業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。 学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。 利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
  論文  参考訳（メタデータ） (2023-12-25T21:25:55Z)
• Android Malware Detection with Unbiased Confidence Guarantees [1.6432632226868131]
  本稿では,マルウェア検出毎に確実な信頼性を保証する機械学習動的解析手法を提案する。 提案手法は、Conformal Predictionと呼ばれる新しい機械学習フレームワークと、ランダムな森林分類器を組み合わせたものである。 実際のアンドロイドデバイスに1866の悪意のある4816の良質なアプリケーションをインストールすることで,大規模なデータセット上での性能を検証した。
  論文  参考訳（メタデータ） (2023-12-17T11:07:31Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Decoding the Secrets of Machine Learning in Malware Classification: A Deep Dive into Datasets, Feature Extraction, and Model Performance [25.184668510417545]
  これまでに670世帯の67Kサンプル(それぞれ100サンプル)で、最大のバランスのとれたマルウェアデータセットを収集しました。 我々は、我々のデータセットを用いて、マルウェア検出と家族分類のための最先端モデルを訓練する。 以上の結果から,静的な特徴は動的機能よりも優れており,両者を組み合わせることで,静的な特徴よりも限界的な改善がもたらされることがわかった。
  論文  参考訳（メタデータ） (2023-07-27T07:18:10Z)
• An Outlier Exposure Approach to Improve Visual Anomaly Detection Performance for Mobile Robots [76.36017224414523]
  移動ロボットの視覚異常検出システム構築の問題点を考察する。 標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。 本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2022-09-20T15:18:13Z)
• Multifamily Malware Models [5.414308305392762]
  我々は、トレーニングデータセットの一般性と対応する機械学習モデルの精度との関係を定量化するために、バイト$n$-gramの機能に基づいた実験を行う。 近隣のアルゴリズムは驚くほどよく一般化され、他の機械学習手法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2022-06-27T13:06:31Z)
• On the impact of dataset size and class imbalance in evaluating machine-learning-based windows malware detection techniques [0.0]
  一部の研究者は、より小さなデータセットを使用し、データセットのサイズがパフォーマンスに重大な影響を与えている場合、公表された結果の比較が困難になる。 このプロジェクトは、データセットのサイズが測定された検出器の性能と関係しているかどうかを理解するために、2つの重要な目標を特定した。 結果は、高い精度のスコアが必ずしも高い実世界のパフォーマンスに必ずしも変換されないことを示唆した。
  論文  参考訳（メタデータ） (2022-06-13T15:37:31Z)
• Towards a Fair Comparison and Realistic Design and Evaluation Framework of Android Malware Detectors [63.75363908696257]
  一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。 データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。 その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
  論文  参考訳（メタデータ） (2022-05-25T08:28:08Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。