論文の概要: Breaking Out from the TESSERACT: Reassessing ML-based Malware Detection under Spatio-Temporal Drift
- arxiv url: http://arxiv.org/abs/2506.23814v1
- Date: Mon, 30 Jun 2025 13:01:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:54.063623
- Title: Breaking Out from the TESSERACT: Reassessing ML-based Malware Detection under Spatio-Temporal Drift
- Title(参考訳): TESSERACTからの離脱:時空間ドリフト下でのMLによるマルウェア検出の再評価
- Authors: Theo Chow, Mario D'Onghia, Lorenz Linhardt, Zeliang Kan, Daniel Arp, Lorenzo Cavallaro, Fabio Pierazzi,
- Abstract要約: 同時に,学習に基づくマルウェア検出の性能に顕著な違いが認められた。
現実的な評価に影響を与える5つの新しい時間的・空間的バイアス要因を同定する。
- 参考スコア(独自算出の注目度): 13.730284868830584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several recent works focused on the best practices for applying machine learning to cybersecurity. In the context of malware, TESSERACT highlighted the impact of concept drift on detection performance and suggested temporal and spatial constraints to be enforced to ensure realistic time-aware evaluations, which have been adopted by the community. In this paper, we demonstrate striking discrepancies in the performance of learning-based malware detection across the same time frame when evaluated on two representative Android malware datasets used in top-tier security conferences, both adhering to established sampling and evaluation guidelines. This questions our ability to understand how current state-of-the-art approaches would perform in realistic scenarios. To address this, we identify five novel temporal and spatial bias factors that affect realistic evaluations. We thoroughly evaluate the impact of these factors in the Android malware domain on two representative datasets and five Android malware classifiers used or proposed in top-tier security conferences. For each factor, we provide practical and actionable recommendations that the community should integrate in their methodology for more realistic and reproducible settings.
- Abstract(参考訳): 最近のいくつかの研究は、サイバーセキュリティに機械学習を適用するためのベストプラクティスに焦点を当てている。
マルウェアの文脈において、TESSERACTは、概念ドリフトが検出性能に与える影響を強調し、コミュニティが採用してきた現実的な時間認識評価を保証するために、時間的および空間的制約を強制することを提案した。
本稿では,トップクラスのセキュリティカンファレンスで使用される2つの代表的なAndroidマルウェアデータセットに対して,両者が確立したサンプリングおよび評価ガイドラインに固執した場合の,学習ベースのマルウェア検出性能の相違を実証する。
このことは、現在の最先端のアプローチが現実的なシナリオでどのように機能するかを理解する能力に疑問を投げかけます。
そこで本研究では,現実的な評価に影響を与える5つの新しい時間的・空間的バイアス要因を同定する。
2つの代表的なデータセットと5つのAndroidマルウェア分類器に対する、Androidマルウェアドメインにおけるこれらの要因の影響を、上位層セキュリティカンファレンスで使用または提案された5つのAndroidマルウェア分類器に対して、徹底的に評価した。
それぞれの要因について、より現実的で再現可能な設定のために、コミュニティが自分たちの方法論に統合すべき、実践的で実行可能なレコメンデーションを提供します。
関連論文リスト
- Rectifying Privacy and Efficacy Measurements in Machine Unlearning: A New Inference Attack Perspective [42.003102851493885]
本稿では,不正確な未学習手法の評価において重要なギャップに対処するため,RULI (Rectified Unlearning Evaluation Framework via Likelihood Inference)を提案する。
RULIは、未学習の有効性とプライバシリスクをサンプルごとの粒度で測定するために、二重目的攻撃を導入している。
既存の手法で過小評価されているプライバシーリスクを暴露し,最先端のアンラーニング手法の重大な脆弱性を明らかにした。
論文 参考訳(メタデータ) (2025-06-16T00:30:02Z) - Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。
AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。
さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
論文 参考訳(メタデータ) (2025-05-28T20:22:43Z) - Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation [52.83870601473094]
エンボディード・エージェントは、複数のドメインにまたがって大きな潜在能力を示す。
既存の研究は主に、一般的な大言語モデルのセキュリティに重点を置いている。
本稿では, エンボディエージェントの保護を目的とした新しい入力モデレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-22T08:34:35Z) - On the Effectiveness of Adversarial Training on Malware Classifiers [14.069462668836328]
対人訓練(AT)は、対人攻撃に対する学習に基づく分類器の強化に広く応用されている。
従来の研究から、頑健性はATのタスク依存性であることが示唆されていた。
我々は、ATとデータ内の特定の要因によって引き起こされる相互に絡み合った役割を探索する必要がある、より複雑な問題であると主張している。
論文 参考訳(メタデータ) (2024-12-24T06:55:53Z) - A practical approach to evaluating the adversarial distance for machine learning classifiers [2.2120851074630177]
本稿では,反復的対角攻撃と認証手法を用いたより情報性の高い対角距離の推定について検討する。
我々は,我々の敵攻撃アプローチが関連する実装と比較して有効であるのに対して,認証手法は期待に届かなかった。
論文 参考訳(メタデータ) (2024-09-05T14:57:01Z) - Towards a Fair Comparison and Realistic Design and Evaluation Framework
of Android Malware Detectors [63.75363908696257]
一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。
データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。
その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
論文 参考訳(メタデータ) (2022-05-25T08:28:08Z) - Evaluation Gaps in Machine Learning Practice [13.963766987258161]
実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。
評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。
これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
論文 参考訳(メタデータ) (2022-05-11T04:00:44Z) - Interpretable Off-Policy Evaluation in Reinforcement Learning by
Highlighting Influential Transitions [48.91284724066349]
強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。
信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。
我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
論文 参考訳(メタデータ) (2020-02-10T00:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。