論文の概要: On The Coherence of Quantitative Evaluation of Visual Expalantion
- arxiv url: http://arxiv.org/abs/2302.10764v1
- Date: Tue, 14 Feb 2023 13:41:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-26 14:07:50.687614
- Title: On The Coherence of Quantitative Evaluation of Visual Expalantion
- Title（参考訳）: 視覚刺激の定量的評価のコヒーレンスについて
- Authors: Benjamin Vandersmissen, Jose Oramas
- Abstract要約: 視覚的説明の「良さ」を評価するための評価手法が提案されている。
我々はImageNet-1k検証セットのサブセットについて検討し、多くの一般的な説明手法を評価した。
本研究の結果から, 評価方法のいくつかは, 階調のコヒーレンシーが欠如していることが示唆された。
- 参考スコア（独自算出の注目度）: 0.651722296019499
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have shown an increased development of methods for justifying
the predictions of neural networks through visual explanations. These
explanations usually take the form of heatmaps which assign a saliency (or
relevance) value to each pixel of the input image that expresses how relevant
the pixel is for the prediction of a label.
Complementing this development, evaluation methods have been proposed to
assess the "goodness" of such explanations. On the one hand, some of these
methods rely on synthetic datasets. However, this introduces the weakness of
having limited guarantees regarding their applicability on more realistic
settings. On the other hand, some methods rely on metrics for objective
evaluation. However the level to which some of these evaluation methods perform
with respect to each other is uncertain.
Taking this into account, we conduct a comprehensive study on a subset of the
ImageNet-1k validation set where we evaluate a number of different
commonly-used explanation methods following a set of evaluation methods. We
complement our study with sanity checks on the studied evaluation methods as a
means to investigate their reliability and the impact of characteristics of the
explanations on the evaluation methods.
Results of our study suggest that there is a lack of coherency on the grading
provided by some of the considered evaluation methods. Moreover, we have
identified some characteristics of the explanations, e.g. sparsity, which can
have a significant effect on the performance.
- Abstract（参考訳）: 近年,視覚的説明を通じてニューラルネットワークの予測を正当化する手法の開発が進んでいる。
これらの説明は、通常、入力画像の各画素にサリエンシー(または関連)値を割り当てるヒートマップの形式をとり、そのピクセルがラベルの予測にどの程度関係しているかを表現する。
この開発を補完し、このような説明の「良さ」を評価する評価手法が提案されている。
一方、これらの手法のいくつかは合成データセットに依存している。
しかし、これはより現実的な設定で適用性に制限があるという弱点をもたらす。
一方で、客観的評価のためのメトリクスに依存する手法もある。
しかし,これらの評価手法のいくつかが相互に作用する程度は定かではない。
このことを考慮し、imagenet-1kバリデーションセットのサブセットを包括的に研究し、一連の評価方法に従って、複数の異なるよく使われる説明方法を評価する。
本研究は,評価手法の信頼性と特徴が評価方法に与える影響を調査する手段として,評価手法の健全性チェックを補完するものである。
本研究の結果から, 評価方法のいくつかは, 階調のコヒーレンシーが欠如していることが示唆された。
さらに,性能に有意な影響を及ぼす可能性のある空間性など,説明のいくつかの特徴を明らかにした。
関連論文リスト
- Classification Metrics for Image Explanations: Towards Building Reliable XAI-Evaluations [0.24578723416255752]
解像度法は、入力画像に対して(超)画素単位の特徴属性スコアを提供する。
新たな評価指標を開発し,イメージネット上で一般的な評価手法をベンチマークした。
心理測定テストの概念に基づく,そのような指標の信頼性評価手法を提案する。
論文 参考訳（メタデータ） (2024-06-07T16:37:50Z) - Toward Understanding the Disagreement Problem in Neural Network Feature Attribution [0.8057006406834466]
ニューラルネットワークは 複雑なパターンと関係を 生のデータから識別する
これらのブラックボックスモデルの内部動作を理解することは、依然として難しいが、高い意思決定には不可欠である。
我々の研究は、説明の基本的な、分布的な振る舞いを調査することによって、この混乱に対処する。
論文 参考訳（メタデータ） (2024-04-17T12:45:59Z) - Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳（メタデータ） (2023-03-21T14:24:58Z) - The Generalizability of Explanations [0.0]
本研究は,一般化可能性の観点から,新しい評価手法を提案する。
自動エンコーダを用いて,生成した説明文の分布を学習し,その学習可能性と,学習された分布特徴の妥当性を観察する。
論文 参考訳（メタデータ） (2023-02-23T12:25:59Z) - Visualizing and Understanding Contrastive Learning [22.553990823550784]
一対のイメージから類似性学習タスクを理解するのに寄与する視覚的説明法を設計する。
また、画像分類システムの視覚的説明を評価するために用いられる既存のメトリクスを、一対の説明に適合させる。
論文 参考訳（メタデータ） (2022-06-20T13:01:46Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳（メタデータ） (2022-05-20T20:50:17Z) - What I Cannot Predict, I Do Not Understand: A Human-Centered Evaluation
Framework for Explainability Methods [6.232071870655069]
本研究では,実世界のシナリオにおける個人帰属手法の実践的有用性について,説明可能性手法の評価に使用する理論的尺度が不十分であることを示す。
この結果から,より優れた説明可能性手法を開発し,人間中心評価手法を展開させる上で重要な必要性が示唆された。
論文 参考訳（メタデータ） (2021-12-06T18:36:09Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - Visualization of Supervised and Self-Supervised Neural Networks via
Attribution Guided Factorization [87.96102461221415]
クラスごとの説明性を提供するアルゴリズムを開発した。
実験の広範なバッテリーでは、クラス固有の可視化のための手法の能力を実証する。
論文 参考訳（メタデータ） (2020-12-03T18:48:39Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z) - There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。
このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。
本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-06T17:58:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。