論文の概要: Investigating the fidelity of explainable artificial intelligence
methods for applications of convolutional neural networks in geoscience
- arxiv url: http://arxiv.org/abs/2202.03407v1
- Date: Mon, 7 Feb 2022 18:47:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 15:43:55.751862
- Title: Investigating the fidelity of explainable artificial intelligence
methods for applications of convolutional neural networks in geoscience
- Title（参考訳）: 地学における畳み込みニューラルネットワークの適用のための説明可能な人工知能手法の忠実性の検討
- Authors: Antonios Mamalakis, Elizabeth A. Barnes and Imme Ebert-Uphoff
- Abstract要約: CNNの意思決定戦略を説明する手段として、説明可能な人工知能(XAI)の手法が人気を集めている。
ここでは,最もポピュラーなXAI手法の相互比較を確立し,地質学的応用のためのCNN決定を説明する上で,それらの忠実さについて検討する。
- 参考スコア（独自算出の注目度）: 0.02578242050187029
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks (CNNs) have recently attracted great attention
in geoscience due to their ability to capture non-linear system behavior and
extract predictive spatiotemporal patterns. Given their black-box nature
however, and the importance of prediction explainability, methods of
explainable artificial intelligence (XAI) are gaining popularity as a means to
explain the CNN decision-making strategy. Here, we establish an intercomparison
of some of the most popular XAI methods and investigate their fidelity in
explaining CNN decisions for geoscientific applications. Our goal is to raise
awareness of the theoretical limitations of these methods and gain insight into
the relative strengths and weaknesses to help guide best practices. The
considered XAI methods are first applied to an idealized attribution benchmark,
where the ground truth of explanation of the network is known a priori, to help
objectively assess their performance. Secondly, we apply XAI to a
climate-related prediction setting, namely to explain a CNN that is trained to
predict the number of atmospheric rivers in daily snapshots of climate
simulations. Our results highlight several important issues of XAI methods
(e.g., gradient shattering, inability to distinguish the sign of attribution,
ignorance to zero input) that have previously been overlooked in our field and,
if not considered cautiously, may lead to a distorted picture of the CNN
decision-making strategy. We envision that our analysis will motivate further
investigation into XAI fidelity and will help towards a cautious implementation
of XAI in geoscience, which can lead to further exploitation of CNNs and deep
learning for prediction problems.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は最近、非線形システムの振る舞いを捉え、予測時空間パターンを抽出する能力により、地球科学に大きな注目を集めている。
しかし、そのブラックボックスの性質と予測可能性の重要性から、CNN意思決定戦略を説明する手段として、説明可能な人工知能(XAI)の手法が人気を集めている。
ここでは,最もポピュラーなXAI手法の相互比較を確立し,地質学的応用のためのCNN決定を説明する上で,それらの忠実さについて検討する。
我々の目標は、これらの方法の理論的限界に対する認識を高め、ベストプラクティスを導くのに役立つ相対的な強みと弱みについての洞察を得ることです。
XAI法はまず、ネットワークの説明の根底にある真理が先行性として知られ、その性能を客観的に評価する理想的な帰属ベンチマークに適用される。
第2に,気象シミュレーションの日々のスナップショットで大気河川の数を予測するように訓練されたcnnを説明するために,xaiを気候関連予測環境に適用する。
以上の結果から,XAI手法のいくつかの重要な課題(例えば,勾配の破砕,帰属のサインの識別能力の欠如,入力の無知など)が浮き彫りにされ,慎重に考えなければ,CNNの意思決定戦略の歪んだイメージに繋がる可能性が示唆された。
我々は,我々の分析がXAIの忠実性に関するさらなる調査の動機となり,地球科学におけるXAIの慎重な実装に寄与し,CNNのさらなる活用と予測問題へのディープラーニングに寄与することを期待している。
関連論文リスト
- Representation Engineering: A Top-Down Approach to AI Transparency [132.0398250233924]
表現工学の新たな領域(RepE)を特定し,特徴付ける
RepEは、神経細胞や回路ではなく、人口レベルの表現を解析の中心に置く。
これらの手法が、広範囲の安全関連問題に対してどのようにトラクションを提供するかを紹介する。
論文 参考訳（メタデータ） (2023-10-02T17:59:07Z) - Deep Learning-based Analysis of Basins of Attraction [49.812879456944984]
本研究は,様々な力学系における盆地の複雑さと予測不可能性を特徴づけることの課題に対処する。
主な焦点は、この分野における畳み込みニューラルネットワーク(CNN)の効率性を示すことである。
論文 参考訳（メタデータ） (2023-09-27T15:41:12Z) - Adversarial Attacks on the Interpretation of Neuron Activation
Maximization [70.5472799454224]
アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。
本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
論文 参考訳（メタデータ） (2023-06-12T19:54:33Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z) - Carefully choose the baseline: Lessons learned from applying XAI
attribution methods for regression tasks in geoscience [0.02578242050187029]
eXplainable Artificial Intelligence (XAI) の手法は、ニューラルネットワーク(NN)の意思決定戦略に関する洞察を得るために、地球科学的応用に用いられている。
そこで本研究では,入力に対する予測に起因するタスクには,単一解が存在しないことについて論じる。
本研究は,異なる理科の質問に対する回答に対応するため,異なる基礎性を考えると,属性が著しく異なることを示す。
論文 参考訳（メタデータ） (2022-08-19T17:54:24Z) - Explainable Artificial Intelligence for Bayesian Neural Networks:
Towards trustworthy predictions of ocean dynamics [0.0]
ニューラルネットワークの信頼性は、不確実性を表現したり、スキルを説明する能力が欠けているため、しばしば疑問視される。
気候変動の応用など、高い利害関係の意思決定においてニューラルネットワークの利用が増加していることを考えると、これは問題となる可能性がある。
我々は、パラメータが決定論的ではなく分布であるベイズニューラルネットワーク(BNN)の実装に成功し、説明可能なAI(XAI)技術の新しい実装を適用することにより、両方の問題に対処する。
論文 参考訳（メタデータ） (2022-04-30T08:35:57Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - Neural Network Attribution Methods for Problems in Geoscience: A Novel
Synthetic Benchmark Dataset [0.05156484100374058]
我々は、地質科学における回帰問題に対するアトリビューションベンチマークデータセットを生成するフレームワークを提供する。
シミュレーションの基盤となる機能を学ぶために、完全に接続されたネットワークを訓練する。
異なるXAI手法から得られた推定帰属ヒートマップと基底真理を比較して,特定のXAI手法が良好に機能する事例を同定する。
論文 参考訳（メタデータ） (2021-03-18T03:39:17Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z) - Opportunities and Challenges in Explainable Artificial Intelligence
(XAI): A Survey [2.7086321720578623]
深層ニューラルネットワークのブラックボックスの性質は、ミッションクリティカルなアプリケーションでの利用に挑戦する。
XAIは、AI決定に関する高品質な解釈可能、直感的、人間に理解可能な説明を生成するためのツール、テクニック、アルゴリズムのセットを推進している。
論文 参考訳（メタデータ） (2020-06-16T02:58:10Z) - Ground Truth Evaluation of Neural Network Explanations with CLEVR-XAI [12.680653816836541]
我々は,CLEVR視覚質問応答タスクに基づくXAI手法の基盤的真理に基づく評価フレームワークを提案する。
本フレームワークは,(1)選択的,(2)制御,(3)リアルなテストベッドをニューラルネットワークの説明評価のために提供する。
論文 参考訳（メタデータ） (2020-03-16T14:43:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。