論文の概要: EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust and Non-Robust Models

• arxiv url: http://arxiv.org/abs/2303.08866v1
• Date: Wed, 15 Mar 2023 18:33:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 18:16:52.063137
• Title: EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust and Non-Robust Models
• Title（参考訳）: EvalAttAI:ロバストおよび非ロバストモデルにおける属性マップ評価のための全体論的アプローチ
• Authors: Ian E. Nielsen, Ravi P. Ramachandran, Nidhal Bouaynaya, Hassan M. Fathallah-Shaykh, Ghulam Rasool
• Abstract要約: 本稿では、ロバストニューラルネットワークがより説明しやすいかどうかを調べるために、属性マッピングの評価方法に焦点を当てる。 従来の指標の限界に対処する新しい説明可能性忠実度指標(EvalAttAI)を提案する。
• 参考スコア（独自算出の注目度）: 0.3425341633647624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expansion of explainable artificial intelligence as a field of research has generated numerous methods of visualizing and understanding the black box of a machine learning model. Attribution maps are generally used to highlight the parts of the input image that influence the model to make a specific decision. On the other hand, the robustness of machine learning models to natural noise and adversarial attacks is also being actively explored. This paper focuses on evaluating methods of attribution mapping to find whether robust neural networks are more explainable. We explore this problem within the application of classification for medical imaging. Explainability research is at an impasse. There are many methods of attribution mapping, but no current consensus on how to evaluate them and determine the ones that are the best. Our experiments on multiple datasets (natural and medical imaging) and various attribution methods reveal that two popular evaluation metrics, Deletion and Insertion, have inherent limitations and yield contradictory results. We propose a new explainability faithfulness metric (called EvalAttAI) that addresses the limitations of prior metrics. Using our novel evaluation, we found that Bayesian deep neural networks using the Variational Density Propagation technique were consistently more explainable when used with the best performing attribution method, the Vanilla Gradient. However, in general, various types of robust neural networks may not be more explainable, despite these models producing more visually plausible attribution maps.
• Abstract（参考訳）: 研究分野としての説明可能な人工知能の拡張は、機械学習モデルのブラックボックスを可視化し理解するための多くの方法を生み出した。 アトリビューションマップは、モデルに影響を及ぼす入力画像の特定の決定を強調するために一般的に使用される。 一方で,自然騒音や敵対的攻撃に対する機械学習モデルの堅牢性も積極的に検討されている。 本稿では、ロバストニューラルネットワークがより説明しやすいかどうかを調べるために、属性マッピングの評価方法に焦点を当てる。 医用画像の分類を応用してこの問題を考察する。 説明可能性の研究は途方に暮れている。 属性マッピングには多くの方法があるが、それらを評価し、最も良いものを決定する方法に関する現在のコンセンサスはない。 複数のデータセット(自然画像および医用画像)と様々な帰属法について実験した結果,2つの一般的な評価指標である欠失と挿入には固有の限界があり,矛盾する結果が得られることがわかった。 従来の指標の限界に対処する新しい説明可能性忠実度指標(EvalAttAI)を提案する。 新たな評価結果から,変分密度伝搬法を用いたベイズディープニューラルネットワークは,最高の帰属法であるバニラグラディエントを用いた場合,一貫して説明可能であることがわかった。 しかし、一般に、様々なタイプのロバストニューラルネットワークは、より視覚的に妥当な帰属マップを生成するにもかかわらず、説明できないかもしれない。

関連論文リスト

• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Interpretability of an Interaction Network for identifying $H \rightarrow b\bar{b}$ jets [4.553120911976256]
  近年、ディープニューラルネットワークに基づくAIモデルは、これらのアプリケーションの多くで人気が高まっている。 我々は、高揚した$Hto bbarb$ jetを識別するために設計されたインタラクションネットワーク(IN)モデルを調べることで、AIモデルの解釈可能性を検討する。 さらに、INモデル内の隠れレイヤの活動を、ニューラルアクティベーションパターン(NAP)ダイアグラムとして記述する。
  論文  参考訳（メタデータ） (2022-11-23T08:38:52Z)
• Multi-Semantic Image Recognition Model and Evaluating Index for explaining the deep learning models [31.387124252490377]
  まず,ニューラルネットワークの意思決定過程を人間に理解させるマルチセマンティック画像認識モデルを提案する。 次に、モデルの解釈可能性について定量的に評価できる新しい評価指標を示す。 本稿では,現在最先端のディープラーニングモデルを用いて,関連するベースライン性能を示す。
  論文  参考訳（メタデータ） (2021-09-28T07:18:05Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Improving a neural network model by explanation-guided training for glioma classification based on MRI data [0.12891210250935145]
  解釈可能性の手法は、ディープラーニングモデルの意思決定プロセスに関する洞察を得るための一般的な方法となっている。 本稿では,LRP(Layer-wise Relevance propagation)技術を用いた説明誘導学習手法を提案する。 我々は,低次・高次グリオーマ分類問題に対する畳み込みニューラルネットワーク(CNN)モデルについて実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-05T13:27:28Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Explaining Convolutional Neural Networks through Attribution-Based Input Sampling and Block-Wise Feature Aggregation [22.688772441351308]
  クラスアクティベーションマッピングとランダムな入力サンプリングに基づく手法が広く普及している。 しかし、帰属法は、その説明力を制限した解像度とぼやけた説明地図を提供する。 本研究では、帰属型入力サンプリング技術に基づいて、モデルの複数の層から可視化マップを収集する。 また,CNNモデル全体に適用可能な層選択戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-01T20:27:30Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• Critically Examining the Claimed Value of Convolutions over User-Item Embedding Maps for Recommender Systems [14.414055798999764]
  近年,推薦システムの領域におけるアルゴリズム研究は,行列因数分解技術からニューラルアプローチへと移行している。 文献で報告された主張利益は, 埋め込み相関をモデル化するCNNの能力によるものではない, という分析的考察と実証的評価を通して示す。
  論文  参考訳（メタデータ） (2020-07-23T10:03:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。