論文の概要: Finding the right XAI method -- A Guide for the Evaluation and Ranking of Explainable AI Methods in Climate Science
- arxiv url: http://arxiv.org/abs/2303.00652v2
- Date: Fri, 22 Mar 2024 17:56:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 23:58:25.480209
- Title: Finding the right XAI method -- A Guide for the Evaluation and Ranking of Explainable AI Methods in Climate Science
- Title（参考訳）: 正しいXAI手法の発見 -気候科学における説明可能なAI手法の評価とランク付けのためのガイド-
- Authors: Philine Bommer, Marlene Kretschmer, Anna Hedström, Dilyara Bareeva, Marina M. -C. Höhne,
- Abstract要約: 気候の文脈でXAI評価を導入し、異なる所望の説明特性について論じる。
XAI法では, 階層的関係伝播, 入力時間勾配が, 強靭性, 忠実性, 複雑度を示すことがわかった。
XAI手法のロバスト性,複雑性,ローカライゼーションスキルに関して,アーキテクチャに依存した性能差がみられた。
- 参考スコア（独自算出の注目度）: 2.8877394238963214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explainable artificial intelligence (XAI) methods shed light on the predictions of machine learning algorithms. Several different approaches exist and have already been applied in climate science. However, usually missing ground truth explanations complicate their evaluation and comparison, subsequently impeding the choice of the XAI method. Therefore, in this work, we introduce XAI evaluation in the climate context and discuss different desired explanation properties, namely robustness, faithfulness, randomization, complexity, and localization. To this end, we chose previous work as a case study where the decade of annual-mean temperature maps is predicted. After training both a multi-layer perceptron (MLP) and a convolutional neural network (CNN), multiple XAI methods are applied and their skill scores in reference to a random uniform explanation are calculated for each property. Independent of the network, we find that XAI methods Integrated Gradients, layer-wise relevance propagation, and input times gradients exhibit considerable robustness, faithfulness, and complexity while sacrificing randomization performance. Sensitivity methods -- gradient, SmoothGrad, NoiseGrad, and FusionGrad, match the robustness skill but sacrifice faithfulness and complexity for randomization skill. We find architecture-dependent performance differences regarding robustness, complexity and localization skills of different XAI methods, highlighting the necessity for research task-specific evaluation. Overall, our work offers an overview of different evaluation properties in the climate science context and shows how to compare and benchmark different explanation methods, assessing their suitability based on strengths and weaknesses, for the specific research problem at hand. By that, we aim to support climate researchers in the selection of a suitable XAI method.
- Abstract（参考訳）: 説明可能な人工知能(XAI)手法は、機械学習アルゴリズムの予測に光を当てる。
いくつかの異なるアプローチがあり、すでに気候科学に応用されている。
しかし、一般的には、その評価と比較を複雑にし、XAI法の選択を妨げている。
そこで本研究では,XAI評価を気候の文脈で導入し,ロバスト性,忠実性,ランダム化,複雑性,局所性といった,さまざまな望ましい説明特性について論じる。
そこで我々は,年平均気温マップの10年を予測したケーススタディとして,過去の研究を選択した。
多層パーセプトロン(MLP)と畳み込みニューラルネットワーク(CNN)の両方を訓練した後、複数のXAI法を適用し、ランダムな一様説明に関するスキルスコアを各特性について算出する。
ネットワークとは無関係に,XAI手法は階層関係の伝播,入力時間勾配が乱数化性能を犠牲にしつつ,頑健性,忠実性,複雑度を示すことがわかった。
グラデーション、SmoothGrad、NossGrad、FusionGradといった感度手法は頑丈さのスキルにマッチするが、ランダム化スキルに対する忠実さと複雑さを犠牲にする。
我々は,XAI手法のロバスト性,複雑性,ローカライズスキルに関するアーキテクチャに依存した性能差を見出し,課題固有の評価の必要性を強調した。
本研究は、気候科学の文脈における異なる評価特性について概説し、異なる説明法を比較してベンチマークする方法を示し、その強度と弱点に基づいて、目前にある特定の研究課題に対する適合性を評価する。
そこで我々は,適切なXAI手法の選択において,気候研究者を支援することを目的とする。
関連論文リスト
- Robustness of Explainable Artificial Intelligence in Industrial Process Modelling [43.388607981317016]
我々は,地中真実シミュレーションと感度解析に基づいて,現在のXAI手法を評価する。
モデル化された産業プロセスの真の感度を正確に予測する能力において,XAI法とXAI法の違いを示す。
論文 参考訳（メタデータ） (2024-07-12T09:46:26Z) - SIDU-TXT: An XAI Algorithm for NLP with a Holistic Assessment Approach [14.928572140620245]
画像に基づく分類において、正統領域全体を局所化する能力に優れる「相似性差と特異性」(SIDU)XAI法をテキストデータに拡張する。
拡張されたSIDU-TXTは、ブラックボックスモデルから特徴活性化マップを使用して、粒度の細かい単語ベースのヒートマップを生成する。
映画レビューデータセットの感情分析タスクにおいて,SIDU-TXTは機能的評価と人為的評価の両方において優れていることがわかった。
論文 参考訳（メタデータ） (2024-02-05T14:29:54Z) - RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳（メタデータ） (2023-11-21T21:05:21Z) - A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
本稿では,DAF(Disdisrepancy Aware Framework)を提案する。
本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。
単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
論文 参考訳（メタデータ） (2023-10-11T15:21:40Z) - An Experimental Investigation into the Evaluation of Explainability
Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文 参考訳（メタデータ） (2023-05-25T08:07:07Z) - IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。
行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。
本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
論文 参考訳（メタデータ） (2021-06-23T03:43:10Z) - Evaluating Explainable Artificial Intelligence Methods for Multi-label
Deep Learning Classification Tasks in Remote Sensing [0.0]
ベンチマークデータセットで最先端のパフォーマンスを持つディープラーニングモデルを開発した。
モデル予測の理解と解釈に10のXAI手法が用いられた。
Occlusion、Grad-CAM、Limeは、最も解釈可能で信頼性の高いXAIメソッドでした。
論文 参考訳（メタデータ） (2021-04-03T11:13:14Z) - Neural Network Attribution Methods for Problems in Geoscience: A Novel
Synthetic Benchmark Dataset [0.05156484100374058]
我々は、地質科学における回帰問題に対するアトリビューションベンチマークデータセットを生成するフレームワークを提供する。
シミュレーションの基盤となる機能を学ぶために、完全に接続されたネットワークを訓練する。
異なるXAI手法から得られた推定帰属ヒートマップと基底真理を比較して,特定のXAI手法が良好に機能する事例を同定する。
論文 参考訳（メタデータ） (2021-03-18T03:39:17Z) - A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。
我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。
我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
論文 参考訳（メタデータ） (2020-11-17T22:24:26Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Ground Truth Evaluation of Neural Network Explanations with CLEVR-XAI [12.680653816836541]
我々は,CLEVR視覚質問応答タスクに基づくXAI手法の基盤的真理に基づく評価フレームワークを提案する。
本フレームワークは,(1)選択的,(2)制御,(3)リアルなテストベッドをニューラルネットワークの説明評価のために提供する。
論文 参考訳（メタデータ） (2020-03-16T14:43:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。