論文の概要: Finding the right XAI method -- A Guide for the Evaluation and Ranking
of Explainable AI Methods in Climate Science
- arxiv url: http://arxiv.org/abs/2303.00652v1
- Date: Wed, 1 Mar 2023 16:54:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 14:02:54.023839
- Title: Finding the right XAI method -- A Guide for the Evaluation and Ranking
of Explainable AI Methods in Climate Science
- Title（参考訳）: 正しいXAI手法の発見 -気候科学における説明可能なAI手法の評価とランク付けのためのガイド-
- Authors: Philine Bommer, Marlene Kretschmer, Anna Hedstr\"om, Dilyara Bareeva,
Marina M.-C. H\"ohne
- Abstract要約: 我々は、気候研究の文脈でXAI評価を導入し、異なる所望の説明特性を評価する。
XAI法は, ランダム化を犠牲にしながら, 統合的グラディエント, 階層的関連性伝播, 入力グラディエントがかなりの堅牢性, 忠実性, 複雑さを示すことがわかった。
特に、SmoothGradやIntegrated Gradientsのような入力摂動を用いた説明は、以前の主張に反して、堅牢性と忠実性を改善しない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explainable artificial intelligence (XAI) methods shed light on the
predictions of deep neural networks (DNNs). Several different approaches exist
and have partly already been successfully applied in climate science. However,
the often missing ground truth explanations complicate their evaluation and
validation, subsequently compounding the choice of the XAI method. Therefore,
in this work, we introduce XAI evaluation in the context of climate research
and assess different desired explanation properties, namely, robustness,
faithfulness, randomization, complexity, and localization. To this end we build
upon previous work and train a multi-layer perceptron (MLP) and a convolutional
neural network (CNN) to predict the decade based on annual-mean temperature
maps. Next, multiple local XAI methods are applied and their performance is
quantified for each evaluation property and compared against a baseline test.
Independent of the network type, we find that the XAI methods Integrated
Gradients, Layer-wise relevance propagation, and InputGradients exhibit
considerable robustness, faithfulness, and complexity while sacrificing
randomization. The opposite is true for Gradient, SmoothGrad, NoiseGrad, and
FusionGrad. Notably, explanations using input perturbations, such as SmoothGrad
and Integrated Gradients, do not improve robustness and faithfulness, contrary
to previous claims. Overall, our experiments offer a comprehensive overview of
different properties of explanation methods in the climate science context and
supports users in the selection of a suitable XAI method.
- Abstract（参考訳）: 説明可能な人工知能(XAI)手法は、ディープニューラルネットワーク(DNN)の予測に光を当てる。
いくつかの異なるアプローチが存在し、すでに気候科学に応用されている。
しかし、しばしば欠けている基礎的真実の説明は、その評価と検証を複雑にし、XAI法の選択を複雑にする。
そこで本研究では,気候研究の文脈においてxai評価を導入し,ロバスト性,忠実性,ランダム化,複雑性,局所性など,所望の異なる説明特性を評価する。
この目的のために,これまでの研究に基づいて多層パーセプトロン(mlp)と畳み込みニューラルネットワーク(cnn)を訓練し,年間平均気温マップに基づいて10年を予測した。
次に、複数の局所XAI手法を適用し、評価特性ごとにその性能を定量化し、ベースライン試験と比較する。
ネットワークタイプとは独立に,XAI法では,階層的関連性伝播や入力グラディエントが乱数化を犠牲にしつつ,頑健性,忠実性,複雑度を示すことがわかった。
逆は Gradient, SmoothGrad, NoiseGrad, FusionGrad である。
特に、SmoothGradやIntegrated Gradientsのような入力摂動を用いた説明は、以前の主張に反して、堅牢性と忠実性を改善しない。
概して,本実験は,気候科学の文脈における説明方法の異なる性質を包括的に概観し,利用者が適切なxai手法を選択することを支援する。
関連論文リスト
- Robustness of Explainable Artificial Intelligence in Industrial Process Modelling [43.388607981317016]
我々は,地中真実シミュレーションと感度解析に基づいて,現在のXAI手法を評価する。
モデル化された産業プロセスの真の感度を正確に予測する能力において,XAI法とXAI法の違いを示す。
論文 参考訳（メタデータ） (2024-07-12T09:46:26Z) - SIDU-TXT: An XAI Algorithm for NLP with a Holistic Assessment Approach [14.928572140620245]
画像に基づく分類において、正統領域全体を局所化する能力に優れる「相似性差と特異性」(SIDU)XAI法をテキストデータに拡張する。
拡張されたSIDU-TXTは、ブラックボックスモデルから特徴活性化マップを使用して、粒度の細かい単語ベースのヒートマップを生成する。
映画レビューデータセットの感情分析タスクにおいて,SIDU-TXTは機能的評価と人為的評価の両方において優れていることがわかった。
論文 参考訳（メタデータ） (2024-02-05T14:29:54Z) - RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳（メタデータ） (2023-11-21T21:05:21Z) - A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
本稿では,DAF(Disdisrepancy Aware Framework)を提案する。
本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。
単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
論文 参考訳（メタデータ） (2023-10-11T15:21:40Z) - An Experimental Investigation into the Evaluation of Explainability
Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文 参考訳（メタデータ） (2023-05-25T08:07:07Z) - IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。
行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。
本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
論文 参考訳（メタデータ） (2021-06-23T03:43:10Z) - Evaluating Explainable Artificial Intelligence Methods for Multi-label
Deep Learning Classification Tasks in Remote Sensing [0.0]
ベンチマークデータセットで最先端のパフォーマンスを持つディープラーニングモデルを開発した。
モデル予測の理解と解釈に10のXAI手法が用いられた。
Occlusion、Grad-CAM、Limeは、最も解釈可能で信頼性の高いXAIメソッドでした。
論文 参考訳（メタデータ） (2021-04-03T11:13:14Z) - Neural Network Attribution Methods for Problems in Geoscience: A Novel
Synthetic Benchmark Dataset [0.05156484100374058]
我々は、地質科学における回帰問題に対するアトリビューションベンチマークデータセットを生成するフレームワークを提供する。
シミュレーションの基盤となる機能を学ぶために、完全に接続されたネットワークを訓練する。
異なるXAI手法から得られた推定帰属ヒートマップと基底真理を比較して,特定のXAI手法が良好に機能する事例を同定する。
論文 参考訳（メタデータ） (2021-03-18T03:39:17Z) - A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。
我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。
我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
論文 参考訳（メタデータ） (2020-11-17T22:24:26Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Ground Truth Evaluation of Neural Network Explanations with CLEVR-XAI [12.680653816836541]
我々は,CLEVR視覚質問応答タスクに基づくXAI手法の基盤的真理に基づく評価フレームワークを提案する。
本フレームワークは,(1)選択的,(2)制御,(3)リアルなテストベッドをニューラルネットワークの説明評価のために提供する。
論文 参考訳（メタデータ） (2020-03-16T14:43:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。