論文の概要: Evaluating Explanation Quality in X-IDS Using Feature Alignment Metrics

• arxiv url: http://arxiv.org/abs/2505.08006v1
• Date: Mon, 12 May 2025 19:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.314107
• Title: Evaluating Explanation Quality in X-IDS Using Feature Alignment Metrics
• Title（参考訳）: 特徴量を用いたX-IDSにおける説明品質の評価
• Authors: Mohammed Alquliti, Erisa Karafili, BooJoong Kang,
• Abstract要約: 本稿では,X-IDSによる説明の質を計測する新しい評価指標を提案する。 このメトリクスは、ドメイン固有の知識ベースから特定できる事前定義された特徴セットと説明がどの程度うまく一致しているかを定量化することを目的としています。 実験結果から,提案手法はX-IDSと攻撃タイプ間で,説明品質に有意な差異をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 0.2621730497733947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable artificial intelligence (XAI) methods have become increasingly important in the context of explainable intrusion detection systems (X-IDSs) for improving the interpretability and trustworthiness of X-IDSs. However, existing evaluation approaches for XAI focus on model-specific properties such as fidelity and simplicity, and neglect whether the explanation content is meaningful or useful within the application domain. In this paper, we introduce new evaluation metrics measuring the quality of explanations from X-IDSs. The metrics aim at quantifying how well explanations are aligned with predefined feature sets that can be identified from domain-specific knowledge bases. Such alignment with these knowledge bases enables explanations to reflect domain knowledge and enables meaningful and actionable insights for security analysts. In our evaluation, we demonstrate the use of the proposed metrics to evaluate the quality of explanations from X-IDSs. The experimental results show that the proposed metrics can offer meaningful differences in explanation quality across X-IDSs and attack types, and assess how well X-IDS explanations reflect known domain knowledge. The findings of the proposed metrics provide actionable insights for security analysts to improve the interpretability of X-IDS in practical settings.
• Abstract（参考訳）: 説明可能な人工知能(XAI)手法は、X-IDSの解釈性と信頼性を向上させるための説明可能な侵入検知システム(X-IDS)の文脈においてますます重要になっている。 しかし、XAIの既存の評価手法は、忠実さや単純さなどのモデル固有の特性に焦点を当てており、説明内容がアプリケーション領域内で意味があるか有用かを無視している。 本稿では,X-IDSによる説明の質を計測する新しい評価指標を提案する。 このメトリクスは、ドメイン固有の知識ベースから特定できる事前定義された特徴セットと説明がどの程度うまく一致しているかを定量化することを目的としています。 このような知識基盤との整合性は、ドメイン知識を反映し、セキュリティアナリストにとって有意義で実用的な洞察を可能にする。 本評価では,提案手法を用いて,X-IDSによる説明の質を評価する。 実験結果から,提案手法は,X-IDSと攻撃タイプ間の説明品質に有意な差異を与え,X-IDSの説明が既知のドメイン知識をどの程度よく反映しているかを評価することができることがわかった。 提案した指標は,X-IDSの現実的な解釈性を改善するために,セキュリティアナリストに実用的な洞察を与えるものである。

関連論文リスト

• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• Calibrated Explanations: with Uncertainty Information and Counterfactuals [0.1843404256219181]
  Calibrated Explanations (CE)はVenn-Abersの基礎の上に構築されている。 これは特徴量とモデルの確率推定の両方に対して不確実な定量化を提供する。 25のベンチマークデータセットによる評価の結果は,CEの有効性を裏付けるものだった。
  論文  参考訳（メタデータ） (2023-05-03T17:52:41Z)
• The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus [10.135749005469686]
  説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。 我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。 我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
  論文  参考訳（メタデータ） (2023-02-14T18:59:02Z)
• Causality-Aware Local Interpretable Model-Agnostic Explanations [7.412445894287709]
  本稿では,インスタンスを取り巻くデータ内の明確な因果関係をエンコードする,広く使われている局所的およびモデルに依存しない説明器の拡張を提案する。 提案手法は,ブラックボックスモデルのメカニズムと生成した説明の一貫性と信頼性を忠実に再現する上で,元の手法を克服する。
  論文  参考訳（メタデータ） (2022-12-10T10:12:27Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Uncertainty Quantification of Surrogate Explanations: an Ordinal Consensus Approach [1.3750624267664155]
  我々は, 多様な自己記述型サロゲート説明器の集合間のコンセンサスを測定することによって, 与えられた説明の不確かさを推定する。 我々は、最先端の畳み込みニューラルネットワークアンサンブルの実験を通して、このアプローチの特性を実証的に説明する。
  論文  参考訳（メタデータ） (2021-11-17T13:55:58Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。