論文の概要: Evaluating The Explainability of State-of-the-Art Machine Learning-based IoT Network Intrusion Detection Systems
- arxiv url: http://arxiv.org/abs/2408.14040v1
- Date: Mon, 26 Aug 2024 06:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 14:52:59.867656
- Title: Evaluating The Explainability of State-of-the-Art Machine Learning-based IoT Network Intrusion Detection Systems
- Title（参考訳）: 最先端機械学習によるIoTネットワーク侵入検知システムの説明可能性の評価
- Authors: Ayush Kumar, Vrizlynn L. L. Thing,
- Abstract要約: 我々は、説明可能なAI(xAI)技術を用いて、最先端のMLベースのIoT NIDSモデルを分析する。
我々は、所定のNIDSモデルに対してxAIメソッド間で生成された説明と、与えられたxAIメソッドに対してNIDSモデル間で生成された説明とを比較した。
インダクティブバイアスに対する各NIDSモデルの脆弱性(トレーニングデータから学習した成果)を評価する。
- 参考スコア（独自算出の注目度）: 4.12716042472541
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Internet-of-Things (IoT) Network Intrusion Detection Systems (NIDSs) which use machine learning (ML) models achieve high detection performance and accuracy while avoiding dependence on fixed signatures extracted from attack artifacts. However, there is a noticeable hesitance among network security experts and practitioners when it comes to deploying ML-based NIDSs in real-world production environments due to their black-box nature, i.e., how and why the underlying models make their decisions. In this work, we analyze state-of-the-art ML-based IoT NIDS models using explainable AI (xAI) techniques (e.g., TRUSTEE, SHAP). Using the explanations generated for the models' decisions, the most prominent features used by each NIDS model considered are presented. We compare the explanations generated across xAI methods for a given NIDS model as well as the explanations generated across the NIDS models for a given xAI method. Finally, we evaluate the vulnerability of each NIDS model to inductive bias (artifacts learnt from training data). The results show that: (1) some ML-based IoT NIDS models can be better explained than other models, (2) xAI explanations are in conflict for most of the IoT NIDS models considered in this work and (3) some IoT NIDS models are more vulnerable to inductive bias than other models.
- Abstract（参考訳）: 機械学習(ML)モデルを用いたIoT(Internet-of-Things)ネットワーク侵入検知システム(NIDS)は、攻撃成果物から抽出した固定署名への依存を回避しつつ、高い検出性能と精度を達成する。
しかしながら、ネットワークセキュリティの専門家や実践者の間では、MLベースのNIDSを現実のプロダクション環境にデプロイすることに関して、ブラックボックスの性質、すなわち、基盤となるモデルがどのように意思決定を行うのかという問題に注意が向けられている。
本研究では、説明可能なAI(xAI)技術(例えば、TRUSTEE、SHAP)を用いて、最先端のMLベースのIoT NIDSモデルを解析する。
モデル決定のために生成された説明を用いて、考慮された各NIDSモデルで使用される最も顕著な特徴を提示する。
我々は、所定のNIDSモデルに対してxAIメソッド間で生成された説明と、与えられたxAIメソッドに対してNIDSモデル間で生成された説明とを比較した。
最後に、各NIDSモデルの脆弱性を誘導バイアス(トレーニングデータから学習した成果)に評価する。
1)MLベースのIoT NIDSモデルは、他のモデルよりもうまく説明でき、(2)xAIの説明は、この研究で考慮されたIoT NIDSモデルのほとんどで矛盾しており、(3)IoT NIDSモデルは、他のモデルよりも誘導バイアスに弱い。
関連論文リスト
- Robustness of Explainable Artificial Intelligence in Industrial Process Modelling [43.388607981317016]
我々は,地中真実シミュレーションと感度解析に基づいて,現在のXAI手法を評価する。
モデル化された産業プロセスの真の感度を正確に予測する能力において,XAI法とXAI法の違いを示す。
論文 参考訳（メタデータ） (2024-07-12T09:46:26Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Robustness and Generalization Performance of Deep Learning Models on
Cyber-Physical Systems: A Comparative Study [71.84852429039881]
調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。
我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
論文 参考訳（メタデータ） (2023-06-13T12:43:59Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - AUTOLYCUS: Exploiting Explainable AI (XAI) for Model Extraction Attacks against Interpretable Models [1.8752655643513647]
XAIツールは、モデル抽出攻撃の脆弱性を増大させる可能性がある。
そこで本研究では,ブラックボックス設定下での解釈可能なモデルに対して,新たなリトレーニング(学習)に基づくモデル抽出攻撃フレームワークを提案する。
AUTOLYCUSは非常に効果的で、最先端の攻撃に比べてクエリが大幅に少ないことが示される。
論文 参考訳（メタデータ） (2023-02-04T13:23:39Z) - An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。
モデル能力,トレーニングデータ,モデル解釈について検討した。
我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
論文 参考訳（メタデータ） (2022-12-15T19:49:34Z) - On the Robustness of Explanations of Deep Neural Network Models: A
Survey [14.940679892694089]
本稿では,Deep Neural Network(DNN)モデルの説明を研究・理解・攻撃・防衛する手法の総合的な調査を行う。
また,説明手法の評価や属性攻撃,防衛手法の詳細な検討を行う。
論文 参考訳（メタデータ） (2022-11-09T10:14:21Z) - Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。
具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。
我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2022-05-08T08:19:40Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - Provably Robust Model-Centric Explanations for Critical Decision-Making [14.367217955827002]
データ中心の手法は、限られた実用性についての脆い説明をもたらす可能性がある。
しかし、モデル中心のフレームワークは、実際にAIモデルを使用するリスクに関する実用的な洞察を提供することができる。
論文 参考訳（メタデータ） (2021-10-26T18:05:49Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳（メタデータ） (2021-03-18T12:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。