論文の概要: Evaluating The Explainability of State-of-the-Art Machine Learning-based Online Network Intrusion Detection Systems
- arxiv url: http://arxiv.org/abs/2408.14040v2
- Date: Thu, 7 Nov 2024 03:28:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 20:01:00.621848
- Title: Evaluating The Explainability of State-of-the-Art Machine Learning-based Online Network Intrusion Detection Systems
- Title（参考訳）: オンラインネットワーク侵入検知システムによる最先端機械学習の説明可能性の評価
- Authors: Ayush Kumar, Vrizlynn L. L. Thing,
- Abstract要約: 我々は、説明可能なAI(xAI)技術を用いて、最先端のMLベースのオンラインNIDSモデルを分析する。
我々は、所定のNIDSモデルに対してxAIメソッド間で生成された説明と、与えられたxAIメソッドに対してNIDSモデル間で生成された説明とを比較した。
インダクティブバイアスに対する各NIDSモデルの脆弱性(トレーニングデータから学習した成果)を評価する。
- 参考スコア（独自算出の注目度）: 4.12716042472541
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Network Intrusion Detection Systems (NIDSs) which use machine learning (ML) models achieve high detection performance and accuracy while avoiding dependence on fixed signatures extracted from attack artifacts. However, there is a noticeable hesitance among network security experts and practitioners when it comes to deploying ML-based NIDSs in real-world production environments due to their black-box nature, i.e., how and why the underlying models make their decisions. In this work, we analyze state-of-the-art ML-based online NIDS models using explainable AI (xAI) techniques (e.g., TRUSTEE, SHAP). Using the explanations generated for the models' decisions, the most prominent features used by each NIDS model considered are presented. We compare the explanations generated across xAI methods for a given NIDS model as well as the explanations generated across the NIDS models for a given xAI method. Finally, we evaluate the vulnerability of each NIDS model to inductive bias (artifacts learnt from training data). The results show that: (1) some ML-based NIDS models can be better explained than other models, (2) xAI explanations are in conflict for most of the NIDS models considered in this work and (3) some NIDS models are more vulnerable to inductive bias than other models.
- Abstract（参考訳）: 機械学習(ML)モデルを用いたネットワーク侵入検知システム(NIDS)は,攻撃成果物から抽出した固定署名に依存することなく,高い検出性能と精度を実現する。
しかし、ネットワークセキュリティの専門家や実践者の間では、MLベースのNIDSを現実のプロダクション環境にデプロイすることに関して、ブラックボックスの性質、すなわち、基盤となるモデルがどのように意思決定を行うのかという問題に注意が向けられている。
本研究では、説明可能なAI(xAI)技術(例えば、TRUSTEE、SHAP)を用いて、最先端のMLベースのオンラインNIDSモデルを解析する。
モデル決定のために生成された説明を用いて、考慮された各NIDSモデルで使用される最も顕著な特徴を提示する。
我々は、所定のNIDSモデルに対してxAIメソッド間で生成された説明と、与えられたxAIメソッドに対してNIDSモデル間で生成された説明とを比較した。
最後に、各NIDSモデルの脆弱性を誘導バイアス(トレーニングデータから学習した成果)に評価する。
その結果,(1)MLに基づくNIDSモデルは,他のモデルよりもよく説明でき,(2)xAIによる説明は,本研究で考慮されたほとんどのNIDSモデルと矛盾しており,(3)他のモデルよりも誘導バイアスに弱いモデルもあることがわかった。
関連論文リスト
- Robustness of Explainable Artificial Intelligence in Industrial Process Modelling [43.388607981317016]
我々は,地中真実シミュレーションと感度解析に基づいて,現在のXAI手法を評価する。
モデル化された産業プロセスの真の感度を正確に予測する能力において,XAI法とXAI法の違いを示す。
論文 参考訳（メタデータ） (2024-07-12T09:46:26Z) - SynthTree: Co-supervised Local Model Synthesis for Explainable Prediction [15.832975722301011]
本稿では,最小限の精度で説明可能性を向上させる手法を提案する。
我々は,AI技術を利用してノードを推定する新しい手法を開発した。
我々の研究は、統計的方法論が説明可能なAIを前進させる上で重要な役割を担っている。
論文 参考訳（メタデータ） (2024-06-16T14:43:01Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - AUTOLYCUS: Exploiting Explainable AI (XAI) for Model Extraction Attacks against Interpretable Models [1.8752655643513647]
XAIツールは、モデル抽出攻撃の脆弱性を増大させる可能性がある。
そこで本研究では,ブラックボックス設定下での解釈可能なモデルに対して,新たなリトレーニング(学習)に基づくモデル抽出攻撃フレームワークを提案する。
AUTOLYCUSは非常に効果的で、最先端の攻撃に比べてクエリが大幅に少ないことが示される。
論文 参考訳（メタデータ） (2023-02-04T13:23:39Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳（メタデータ） (2022-06-17T16:18:28Z) - GAM(e) changer or not? An evaluation of interpretable machine learning
models based on additive model constraints [5.783415024516947]
本稿では,一連の固有解釈可能な機械学習モデルについて検討する。
5つのGAMの予測特性を従来のMLモデルと比較した。
論文 参考訳（メタデータ） (2022-04-19T20:37:31Z) - Beyond Explaining: Opportunities and Challenges of XAI-Based Model
Improvement [75.00655434905417]
説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。
本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。
実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
論文 参考訳（メタデータ） (2022-03-15T15:44:28Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - Analyzing a Caching Model [7.378507865227209]
解釈容易性は、現実世界のデプロイメントにおいて、依然として大きな障害である。
現状のキャッシュモデルを分析することで、単純な統計以上の概念を学習したことを示す。
論文 参考訳（メタデータ） (2021-12-13T19:53:07Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳（メタデータ） (2021-03-18T12:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。