論文の概要: How Reliable and Stable are Explanations of XAI Methods?

• arxiv url: http://arxiv.org/abs/2407.03108v1
• Date: Wed, 3 Jul 2024 13:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:06:19.745772
• Title: How Reliable and Stable are Explanations of XAI Methods?
• Title（参考訳）: XAI メソッドの説明はどの程度信頼性と安定か?
• Authors: José Ribeiro, Lucas Cardoso, Vitor Santos, Eduardo Carvalho, Níkolas Carneiro, Ronnie Alves,
• Abstract要約: ブラックボックスモデルは、社会の中で生活している人間の日常生活にますます使われている。 XAI(Explainable Artificial Intelligence)メソッドが登場し、モデルが特定の予測を行う方法に関するさらなる説明が生まれている。 その結果、現在のXAI法は1つの特定の方法を除いて摂動に敏感であることが判明した。
• 参考スコア（独自算出の注目度）: 0.4749981032986242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Black box models are increasingly being used in the daily lives of human beings living in society. Along with this increase, there has been the emergence of Explainable Artificial Intelligence (XAI) methods aimed at generating additional explanations regarding how the model makes certain predictions. In this sense, methods such as Dalex, Eli5, eXirt, Lofo and Shap emerged as different proposals and methodologies for generating explanations of black box models in an agnostic way. Along with the emergence of these methods, questions arise such as "How Reliable and Stable are XAI Methods?". With the aim of shedding light on this main question, this research creates a pipeline that performs experiments using the diabetes dataset and four different machine learning models (LGBM, MLP, DT and KNN), creating different levels of perturbations of the test data and finally generates explanations from the eXirt method regarding the confidence of the models and also feature relevances ranks from all XAI methods mentioned, in order to measure their stability in the face of perturbations. As a result, it was found that eXirt was able to identify the most reliable models among all those used. It was also found that current XAI methods are sensitive to perturbations, with the exception of one specific method.
• Abstract（参考訳）: ブラックボックスモデルは、社会の中で生活している人間の日常生活にますます使われている。 この増加に伴い、モデルがどのように特定の予測を行うかについてのさらなる説明を生み出すことを目的とした、説明可能な人工知能(XAI)メソッドが出現した。 この意味で、Dalex、Eli5、eXirt、Lofo、Shapといった手法は、ブラックボックスモデルの説明を不可知的に生成するための異なる提案と方法論として登場した。 これらの手法の出現とともに、"信頼性と安定性はXAIメソッドとは何か"といった疑問が生まれている。 本研究は, 糖尿病データセットと4つの異なる機械学習モデル(LGBM, MLP, DT, KNN)を用いて実験を行い, テストデータの摂動レベルを異なるレベルで生成し, 最終的に, モデルの信頼性に関するeXirt法からの説明と, 前述のすべてのXAI法から有意なランク付けを行い, 摂動面の安定性を計測するパイプラインを作成する。 その結果、eXirtは使用したモデルの中で最も信頼性の高いモデルを特定することができた。 また、現在のXAI法は1つの特定の方法を除いて摂動に敏感であることがわかった。

関連論文リスト

• Derivative-Free Diffusion Manifold-Constrained Gradient for Unified XAI [59.96044730204345]
  微分自由拡散多様体制約勾配(FreeMCG)を導入する。 FreeMCGは、与えられたニューラルネットワークの説明可能性を改善する基盤として機能する。 提案手法は,XAIツールが期待する本質性を保ちながら,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2024-11-22T11:15:14Z)
• Robustness of Explainable Artificial Intelligence in Industrial Process Modelling [43.388607981317016]
  我々は,地中真実シミュレーションと感度解析に基づいて,現在のXAI手法を評価する。 モデル化された産業プロセスの真の感度を正確に予測する能力において,XAI法とXAI法の違いを示す。
  論文  参考訳（メタデータ） (2024-07-12T09:46:26Z)
• Unified Explanations in Machine Learning Models: A Perturbation Approach [0.0]
  XAIとモデリング技術の不整合は、これらの説明可能性アプローチの有効性に疑念を投げかけるという望ましくない効果をもたらす可能性がある。 我々はXAI, SHapley Additive exPlanations (Shap) において, 一般的なモデルに依存しない手法に対する系統的摂動解析を提案する。 我々は、一般的な機械学習とディープラーニングの手法のスイートと、静的ケースホールドで生成された説明の正確さを定量化するためのメトリクスの中で、動的推論の設定において、相対的な特徴重要度を生成するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-05-30T16:04:35Z)
• Overlap Number of Balls Model-Agnostic CounterFactuals (ONB-MACF): A Data-Morphology-based Counterfactual Generation Method for Trustworthy Artificial Intelligence [15.415120542032547]
  XAIはAIシステムをより理解しやすく信頼性の高いものにしようとしている。 本研究は,データ形態学戦略の価値を解析し,反実的説明を生成する。 ボールのオーバーラップ数(Overlap Number of Balls Model-Agnostic CounterFactuals,ONB-MACF)法を導入している。
  論文  参考訳（メタデータ） (2024-05-20T18:51:42Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• Topological Interpretability for Deep-Learning [0.30806551485143496]
  ディープラーニング(DL)モデルは、予測の確実性を定量化できない。 本研究は,臨床および非臨床のテキストに基づいて訓練された2つのDL分類モデルにおいて,特徴を推測する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T13:38:13Z)
• A Perspective on Explainable Artificial Intelligence Methods: SHAP and LIME [4.328967621024592]
  本稿では2つの広く使われているXAI手法の解釈のための枠組みを提案する。 モデル依存性やコリナリティの有無の観点から,これらの結果について議論する。 以上の結果から,SHAPとLIMEはMLモデルや特徴コリナリティーの影響を強く受けており,その使用法や解釈に注意を喚起している。
  論文  参考訳（メタデータ） (2023-05-03T10:04:46Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。