論文の概要: Finding the right XAI method -- A Guide for the Evaluation and Ranking
of Explainable AI Methods in Climate Science
- arxiv url: http://arxiv.org/abs/2303.00652v1
- Date: Wed, 1 Mar 2023 16:54:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 14:02:54.023839
- Title: Finding the right XAI method -- A Guide for the Evaluation and Ranking
of Explainable AI Methods in Climate Science
- Title(参考訳): 正しいXAI手法の発見 -気候科学における説明可能なAI手法の評価とランク付けのためのガイド-
- Authors: Philine Bommer, Marlene Kretschmer, Anna Hedstr\"om, Dilyara Bareeva,
Marina M.-C. H\"ohne
- Abstract要約: 我々は、気候研究の文脈でXAI評価を導入し、異なる所望の説明特性を評価する。
XAI法は, ランダム化を犠牲にしながら, 統合的グラディエント, 階層的関連性伝播, 入力グラディエントがかなりの堅牢性, 忠実性, 複雑さを示すことがわかった。
特に、SmoothGradやIntegrated Gradientsのような入力摂動を用いた説明は、以前の主張に反して、堅牢性と忠実性を改善しない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explainable artificial intelligence (XAI) methods shed light on the
predictions of deep neural networks (DNNs). Several different approaches exist
and have partly already been successfully applied in climate science. However,
the often missing ground truth explanations complicate their evaluation and
validation, subsequently compounding the choice of the XAI method. Therefore,
in this work, we introduce XAI evaluation in the context of climate research
and assess different desired explanation properties, namely, robustness,
faithfulness, randomization, complexity, and localization. To this end we build
upon previous work and train a multi-layer perceptron (MLP) and a convolutional
neural network (CNN) to predict the decade based on annual-mean temperature
maps. Next, multiple local XAI methods are applied and their performance is
quantified for each evaluation property and compared against a baseline test.
Independent of the network type, we find that the XAI methods Integrated
Gradients, Layer-wise relevance propagation, and InputGradients exhibit
considerable robustness, faithfulness, and complexity while sacrificing
randomization. The opposite is true for Gradient, SmoothGrad, NoiseGrad, and
FusionGrad. Notably, explanations using input perturbations, such as SmoothGrad
and Integrated Gradients, do not improve robustness and faithfulness, contrary
to previous claims. Overall, our experiments offer a comprehensive overview of
different properties of explanation methods in the climate science context and
supports users in the selection of a suitable XAI method.
- Abstract(参考訳): 説明可能な人工知能(XAI)手法は、ディープニューラルネットワーク(DNN)の予測に光を当てる。
いくつかの異なるアプローチが存在し、すでに気候科学に応用されている。
しかし、しばしば欠けている基礎的真実の説明は、その評価と検証を複雑にし、XAI法の選択を複雑にする。
そこで本研究では,気候研究の文脈においてxai評価を導入し,ロバスト性,忠実性,ランダム化,複雑性,局所性など,所望の異なる説明特性を評価する。
この目的のために,これまでの研究に基づいて多層パーセプトロン(mlp)と畳み込みニューラルネットワーク(cnn)を訓練し,年間平均気温マップに基づいて10年を予測した。
次に、複数の局所XAI手法を適用し、評価特性ごとにその性能を定量化し、ベースライン試験と比較する。
ネットワークタイプとは独立に,XAI法では,階層的関連性伝播や入力グラディエントが乱数化を犠牲にしつつ,頑健性,忠実性,複雑度を示すことがわかった。
逆は Gradient, SmoothGrad, NoiseGrad, FusionGrad である。
特に、SmoothGradやIntegrated Gradientsのような入力摂動を用いた説明は、以前の主張に反して、堅牢性と忠実性を改善しない。
概して,本実験は,気候科学の文脈における説明方法の異なる性質を包括的に概観し,利用者が適切なxai手法を選択することを支援する。
関連論文リスト
- Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - An Experimental Investigation into the Evaluation of Explainability
Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文 参考訳(メタデータ) (2023-05-25T08:07:07Z) - Carefully choose the baseline: Lessons learned from applying XAI
attribution methods for regression tasks in geoscience [0.02578242050187029]
eXplainable Artificial Intelligence (XAI) の手法は、ニューラルネットワーク(NN)の意思決定戦略に関する洞察を得るために、地球科学的応用に用いられている。
そこで本研究では,入力に対する予測に起因するタスクには,単一解が存在しないことについて論じる。
本研究は,異なる理科の質問に対する回答に対応するため,異なる基礎性を考えると,属性が著しく異なることを示す。
論文 参考訳(メタデータ) (2022-08-19T17:54:24Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳(メタデータ) (2022-05-31T04:57:06Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。
行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。
本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
論文 参考訳(メタデータ) (2021-06-23T03:43:10Z) - Evaluating Explainable Artificial Intelligence Methods for Multi-label
Deep Learning Classification Tasks in Remote Sensing [0.0]
ベンチマークデータセットで最先端のパフォーマンスを持つディープラーニングモデルを開発した。
モデル予測の理解と解釈に10のXAI手法が用いられた。
Occlusion、Grad-CAM、Limeは、最も解釈可能で信頼性の高いXAIメソッドでした。
論文 参考訳(メタデータ) (2021-04-03T11:13:14Z) - Neural Network Attribution Methods for Problems in Geoscience: A Novel
Synthetic Benchmark Dataset [0.05156484100374058]
我々は、地質科学における回帰問題に対するアトリビューションベンチマークデータセットを生成するフレームワークを提供する。
シミュレーションの基盤となる機能を学ぶために、完全に接続されたネットワークを訓練する。
異なるXAI手法から得られた推定帰属ヒートマップと基底真理を比較して,特定のXAI手法が良好に機能する事例を同定する。
論文 参考訳(メタデータ) (2021-03-18T03:39:17Z) - Quantifying Explainability of Saliency Methods in Deep Neural Networks
with a Synthetic Dataset [16.1448256306394]
本稿では, より客観的な定量的評価を行うために, 地中断熱マップとともに, アドホックを生成可能な合成データセットを提案する。
各サンプルデータは、局所化接地トラスマスクと区別される特徴が容易に認識されるセルの画像である。
論文 参考訳(メタデータ) (2020-09-07T05:55:24Z) - Ground Truth Evaluation of Neural Network Explanations with CLEVR-XAI [12.680653816836541]
我々は,CLEVR視覚質問応答タスクに基づくXAI手法の基盤的真理に基づく評価フレームワークを提案する。
本フレームワークは,(1)選択的,(2)制御,(3)リアルなテストベッドをニューラルネットワークの説明評価のために提供する。
論文 参考訳(メタデータ) (2020-03-16T14:43:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。