論文の概要: EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust
and Non-Robust Models
- arxiv url: http://arxiv.org/abs/2303.08866v1
- Date: Wed, 15 Mar 2023 18:33:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 18:16:52.063137
- Title: EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust
and Non-Robust Models
- Title（参考訳）: EvalAttAI:ロバストおよび非ロバストモデルにおける属性マップ評価のための全体論的アプローチ
- Authors: Ian E. Nielsen, Ravi P. Ramachandran, Nidhal Bouaynaya, Hassan M.
Fathallah-Shaykh, Ghulam Rasool
- Abstract要約: 本稿では、ロバストニューラルネットワークがより説明しやすいかどうかを調べるために、属性マッピングの評価方法に焦点を当てる。
従来の指標の限界に対処する新しい説明可能性忠実度指標(EvalAttAI)を提案する。
- 参考スコア（独自算出の注目度）: 0.3425341633647624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The expansion of explainable artificial intelligence as a field of research
has generated numerous methods of visualizing and understanding the black box
of a machine learning model. Attribution maps are generally used to highlight
the parts of the input image that influence the model to make a specific
decision. On the other hand, the robustness of machine learning models to
natural noise and adversarial attacks is also being actively explored. This
paper focuses on evaluating methods of attribution mapping to find whether
robust neural networks are more explainable. We explore this problem within the
application of classification for medical imaging. Explainability research is
at an impasse. There are many methods of attribution mapping, but no current
consensus on how to evaluate them and determine the ones that are the best. Our
experiments on multiple datasets (natural and medical imaging) and various
attribution methods reveal that two popular evaluation metrics, Deletion and
Insertion, have inherent limitations and yield contradictory results. We
propose a new explainability faithfulness metric (called EvalAttAI) that
addresses the limitations of prior metrics. Using our novel evaluation, we
found that Bayesian deep neural networks using the Variational Density
Propagation technique were consistently more explainable when used with the
best performing attribution method, the Vanilla Gradient. However, in general,
various types of robust neural networks may not be more explainable, despite
these models producing more visually plausible attribution maps.
- Abstract（参考訳）: 研究分野としての説明可能な人工知能の拡張は、機械学習モデルのブラックボックスを可視化し理解するための多くの方法を生み出した。
アトリビューションマップは、モデルに影響を及ぼす入力画像の特定の決定を強調するために一般的に使用される。
一方で,自然騒音や敵対的攻撃に対する機械学習モデルの堅牢性も積極的に検討されている。
本稿では、ロバストニューラルネットワークがより説明しやすいかどうかを調べるために、属性マッピングの評価方法に焦点を当てる。
医用画像の分類を応用してこの問題を考察する。
説明可能性の研究は途方に暮れている。
属性マッピングには多くの方法があるが、それらを評価し、最も良いものを決定する方法に関する現在のコンセンサスはない。
複数のデータセット(自然画像および医用画像)と様々な帰属法について実験した結果,2つの一般的な評価指標である欠失と挿入には固有の限界があり,矛盾する結果が得られることがわかった。
従来の指標の限界に対処する新しい説明可能性忠実度指標(EvalAttAI)を提案する。
新たな評価結果から,変分密度伝搬法を用いたベイズディープニューラルネットワークは,最高の帰属法であるバニラグラディエントを用いた場合,一貫して説明可能であることがわかった。
しかし、一般に、様々なタイプのロバストニューラルネットワークは、より視覚的に妥当な帰属マップを生成するにもかかわらず、説明できないかもしれない。
関連論文リスト
- Toward Understanding the Disagreement Problem in Neural Network Feature Attribution [0.8057006406834466]
ニューラルネットワークは 複雑なパターンと関係を 生のデータから識別する
これらのブラックボックスモデルの内部動作を理解することは、依然として難しいが、高い意思決定には不可欠である。
我々の研究は、説明の基本的な、分布的な振る舞いを調査することによって、この混乱に対処する。
論文 参考訳（メタデータ） (2024-04-17T12:45:59Z) - CNN-based explanation ensembling for dataset, representation and explanations evaluation [1.1060425537315088]
畳み込みモデルを用いた深層分類モデルによる説明文の要約の可能性について検討する。
実験と分析を通じて、モデル行動のより一貫性と信頼性のあるパターンを明らかにするために、説明を組み合わせることの意味を明らかにすることを目的とする。
論文 参考訳（メタデータ） (2024-04-16T08:39:29Z) - Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳（メタデータ） (2024-03-02T00:56:05Z) - On Modifying a Neural Network's Perception [3.42658286826597]
本研究では,人間の定義した概念に対して,人工ニューラルネットワークが知覚しているものを修正する手法を提案する。
提案手法を異なるモデルで検証し、実行された操作がモデルによって適切に解釈されているかどうかを評価し、それらに対してどのように反応するかを解析する。
論文 参考訳（メタデータ） (2023-03-05T12:09:37Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Multi-Semantic Image Recognition Model and Evaluating Index for
explaining the deep learning models [31.387124252490377]
まず,ニューラルネットワークの意思決定過程を人間に理解させるマルチセマンティック画像認識モデルを提案する。
次に、モデルの解釈可能性について定量的に評価できる新しい評価指標を示す。
本稿では,現在最先端のディープラーニングモデルを用いて,関連するベースライン性能を示す。
論文 参考訳（メタデータ） (2021-09-28T07:18:05Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - CAMERAS: Enhanced Resolution And Sanity preserving Class Activation
Mapping for image saliency [61.40511574314069]
バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。
CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
論文 参考訳（メタデータ） (2021-06-20T08:20:56Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Explaining Convolutional Neural Networks through Attribution-Based Input
Sampling and Block-Wise Feature Aggregation [22.688772441351308]
クラスアクティベーションマッピングとランダムな入力サンプリングに基づく手法が広く普及している。
しかし、帰属法は、その説明力を制限した解像度とぼやけた説明地図を提供する。
本研究では、帰属型入力サンプリング技術に基づいて、モデルの複数の層から可視化マップを収集する。
また,CNNモデル全体に適用可能な層選択戦略を提案する。
論文 参考訳（メタデータ） (2020-10-01T20:27:30Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳（メタデータ） (2020-09-25T12:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。