論文の概要: A comprehensive study on fidelity metrics for XAI

• arxiv url: http://arxiv.org/abs/2401.10640v1
• Date: Fri, 19 Jan 2024 11:35:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 16:09:31.407684
• Title: A comprehensive study on fidelity metrics for XAI
• Title（参考訳）: XAIの忠実度指標に関する総合的研究
• Authors: Miquel Mir\'o-Nicolau, Antoni Jaume-i-Cap\'o, Gabriel Moy\`a-Alcover
• Abstract要約: 我々は、フィールド内のオープンな質問であるXAIメソッドを正しく選択する方法に焦点をあてる。 いくつかの著者が、異なるXAI手法の忠実度を近似する指標を提案している。 本稿では,よく知られた透明なモデル,すなわち決定木を用いて,忠実度を検証するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of eXplainable Artificial Intelligence (XAI) systems has introduced a set of challenges that need resolution. Herein, we focus on how to correctly select an XAI method, an open questions within the field. The inherent difficulty of this task is due to the lack of a ground truth. Several authors have proposed metrics to approximate the fidelity of different XAI methods. These metrics lack verification and have concerning disagreements. In this study, we proposed a novel methodology to verify fidelity metrics, using a well-known transparent model, namely a decision tree. This model allowed us to obtain explanations with perfect fidelity. Our proposal constitutes the first objective benchmark for these metrics, facilitating a comparison of existing proposals, and surpassing existing methods. We applied our benchmark to assess the existing fidelity metrics in two different experiments, each using public datasets comprising 52,000 images. The images from these datasets had a size a 128 by 128 pixels and were synthetic data that simplified the training process. All metric values, indicated a lack of fidelity, with the best one showing a 30 \% deviation from the expected values for perfect explanation. Our experimentation led us to conclude that the current fidelity metrics are not reliable enough to be used in real scenarios. From this finding, we deemed it necessary to development new metrics, to avoid the detected problems, and we recommend the usage of our proposal as a benchmark within the scientific community to address these limitations.
• Abstract（参考訳）: eXplainable Artificial Intelligence (XAI)システムの使用は、解決を必要とする一連の課題を導入している。 本稿では、フィールド内のオープンな質問であるXAIメソッドを正しく選択する方法に焦点を当てる。 この課題の本質的な難しさは、根底的な真実の欠如にある。 いくつかの著者が、異なるXAI手法の忠実度を近似する指標を提案している。 これらの指標には検証の欠如と不一致がある。 本研究では,よく知られた透過的モデル,すなわち決定木を用いて,忠実度メトリクスを検証する新しい手法を提案する。 このモデルにより、完璧に忠実な説明が得られました。 提案手法は,これらの指標に対する最初の客観的ベンチマークを構成し,既存の提案との比較を促進し,既存の手法を上回っている。 52,000枚の画像からなる公開データセットを用いて2つの異なる実験で既存の忠実度メトリクスを評価するためにベンチマークを適用した。 これらのデータセットの画像は、サイズが128×128ピクセルであり、トレーニングプロセスを単純化した合成データである。 すべての測定値が忠実さの欠如を示し、最高の値が完全な説明のために期待値から30%の偏差を示した。 実験の結果、現在の忠実度メトリクスは実際のシナリオで使えるほど信頼できないと結論づけました。 この発見から,検出された問題を回避するために,新たなメトリクスの開発が必要であると考え,これらの制限に対処するために,科学コミュニティにおけるベンチマークとしての提案の利用を推奨した。

関連論文リスト

• Navigating the Maze of Explainable AI: A Systematic Approach to Evaluating Methods and Metrics [10.045644410833402]
  LATECは、20の異なる指標を用いて17の顕著なXAI手法を批判的に評価する大規模なベンチマークである。 信頼性の低いランキングに繋がるメトリクスの衝突リスクを実証し、その結果、より堅牢な評価手法を提案する。 LATECは将来のXAI研究における役割を強化し、326kのサリエンシマップと378kのメトリクススコアを(メタ評価)データセットとして公開している。
  論文  参考訳（メタデータ） (2024-09-25T09:07:46Z)
• Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
  視覚言語AIシステムに特有の不確実性の分類法を提案する。 また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
  論文  参考訳（メタデータ） (2024-07-02T04:23:54Z)
• Are Objective Explanatory Evaluation metrics Trustworthy? An Adversarial Analysis [12.921307214813357]
  本論文の目的は,Pixel Elimination を用いた SHifted Adversaries と呼ばれる新しい説明手法を考案することである。 我々は、SHAPEは、一般的な重要度に基づく視覚的XAI手法の堅牢性と信頼性を測定するために使用される因果的指標を騙す逆説であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T02:39:46Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• Precise Benchmarking of Explainable AI Attribution Methods [0.0]
  本稿では,最新のXAI属性手法のベンチマークのための新しい評価手法を提案する。 提案手法は, 基礎的真理の説明を伴う合成分類モデルから成り立っている。 実験の結果, Guided-Backprop 法と Smoothgrad XAI 法の性能に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2023-08-06T17:03:32Z)
• Counterfactual Explanation via Search in Gaussian Mixture Distributed Latent Space [19.312306559210125]
  対実説明(CE)は2つの問題に対処するアルゴリズム・リコースにおいて重要なツールである。 簡単に理解しやすい説明を提供することによって、AIシステムに対するユーザのインタラクションを導くことは、AIシステムの信頼できる採用と長期的な受け入れに不可欠である。 本稿では,まずオートエンコーダの潜伏空間をガウス分布の混合として形成することにより,事前学習されたバイナリ分類器のCEを生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T10:21:26Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。