論文の概要: Classification Metrics for Image Explanations: Towards Building Reliable XAI-Evaluations

• arxiv url: http://arxiv.org/abs/2406.05068v1
• Date: Fri, 7 Jun 2024 16:37:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:12:42.532796
• Title: Classification Metrics for Image Explanations: Towards Building Reliable XAI-Evaluations
• Title（参考訳）: 画像説明のための分類基準:信頼性の高いXAI評価の構築に向けて
• Authors: Benjamin Fresz, Lena Lörcher, Marco Huber,
• Abstract要約: 解像度法は、入力画像に対して(超)画素単位の特徴属性スコアを提供する。 新たな評価指標を開発し,イメージネット上で一般的な評価手法をベンチマークした。 心理測定テストの概念に基づく,そのような指標の信頼性評価手法を提案する。
• 参考スコア（独自算出の注目度）: 0.24578723416255752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision processes of computer vision models - especially deep neural networks - are opaque in nature, meaning that these decisions cannot be understood by humans. Thus, over the last years, many methods to provide human-understandable explanations have been proposed. For image classification, the most common group are saliency methods, which provide (super-)pixelwise feature attribution scores for input images. But their evaluation still poses a problem, as their results cannot be simply compared to the unknown ground truth. To overcome this, a slew of different proxy metrics have been defined, which are - as the explainability methods themselves - often built on intuition and thus, are possibly unreliable. In this paper, new evaluation metrics for saliency methods are developed and common saliency methods are benchmarked on ImageNet. In addition, a scheme for reliability evaluation of such metrics is proposed that is based on concepts from psychometric testing. The used code can be found at https://github.com/lelo204/ClassificationMetricsForImageExplanations .
• Abstract（参考訳）: コンピュータビジョンモデルの決定過程(特にディープニューラルネットワーク)は、本質的に不透明である。 このように、近年、人間に理解可能な説明を提供するための多くの方法が提案されている。 画像分類において、最も一般的なグループは、入力画像に対して(超)画素単位の特徴属性スコアを提供するサリエンシ手法である。 しかし、彼らの評価は、その結果は未知の根拠の真実と単純に比較できないため、依然として問題となる。 これを解決するために、さまざまなプロキシメトリクスが定義されている。これは、説明可能性メソッドそれ自体として、直観に基づいて構築されることが多いため、おそらく信頼性が低い。 本稿では,新たな評価指標を開発し,イメージネット上での共通性評価手法をベンチマークする。 また、心理測定テストの概念に基づく、そのような指標の信頼性評価手法を提案する。 使用されるコードはhttps://github.com/lelo204/ClassificationMetricsForImageExplanations で見ることができる。

関連論文リスト

• Introspective Deep Metric Learning [91.47907685364036]
  本稿では,不確実性を考慮した画像比較のためのイントロスペクティブな深度学習フレームワークを提案する。 提案するIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-11T16:21:13Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• On The Coherence of Quantitative Evaluation of Visual Explanations [0.7212939068975619]
  視覚的説明の「良さ」を評価するための評価手法が提案されている。 我々はImageNet-1k検証セットのサブセットについて検討し、多くの一般的な説明手法を評価した。 本研究の結果から, 評価方法のいくつかは, 階調のコヒーレンシーが欠如していることが示唆された。
  論文  参考訳（メタデータ） (2023-02-14T13:41:57Z)
• Evaluation of FEM and MLFEM AI-explainers in Image Classification tasks with reference-based and no-reference metrics [0.0]
  画像と映像の分類タスクにおけるCNNの説明のために設計された,最近提案されたポストホック説明器 FEM と MLFEM を思い出させる。 基準ベースおよび非参照メトリクスを用いて評価を行う。 非参照計量として、Alvarez-Melis と Jaakkola によって提案された「安定」計量を用いる。
  論文  参考訳（メタデータ） (2022-12-02T14:55:31Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• Introspective Deep Metric Learning for Image Retrieval [80.29866561553483]
  良好な類似性モデルは、より堅牢なトレーニングのために曖昧なイメージをよりよく扱うように注意しながら、意味的な相違を考慮すべきである、と我々は主張する。 本稿では,画像の意味的特徴とあいまいさを記述した,意味的埋め込みだけでなく,付随する不確実性埋め込みを用いて画像を表現することを提案する。 提案したIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能向上を実現し,広く使用されているCUB-200-2011,Cars196,Stanford Online Productsデータセットの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-05-09T17:51:44Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Towards Interpretable Deep Metric Learning with Structural Matching [86.16700459215383]
  より透過的な埋め込み学習のための深層解釈可能なメトリック学習(DIML)法を提案する。 本手法は,既製のバックボーンネットワークやメトリック学習手法に適用可能な,モデルに依存しない手法である。 我々は,CUB200-2011,Cars196,Stanford Online Productsの3つの大規模メトリクス学習ベンチマークで評価を行った。
  論文  参考訳（メタデータ） (2021-08-12T17:59:09Z)
• Evaluation of Saliency-based Explainability Method [2.733700237741334]
  説明可能なAI(XAI)メソッドのクラスは、CNNモデルがその動作を説明する方法としてイメージを分類するために、画像の一部を強調するために、唾液マップを提供する。 これらの手法はユーザがCNNの予測を理解するための直感的な方法を提供する。 定量的な計算テスト以外に、これらの手法が有用であることを示す証拠の大部分は逸話である。
  論文  参考訳（メタデータ） (2021-06-24T05:40:50Z)
• Combining Similarity and Adversarial Learning to Generate Visual Explanation: Application to Medical Image Classification [0.0]
  学習フレームワークを活用して視覚的説明法を作成する。 文献のメトリクスを用いることで,この手法は最先端のアプローチよりも優れています。 大規模な胸部X線データベース上でのアプローチを検証する。
  論文  参考訳（メタデータ） (2020-12-14T08:34:12Z)
• Assessing the Reliability of Visual Explanations of Deep Models with Adversarial Perturbations [15.067369314723958]
  本稿では,深層モデルの説明の信頼性を評価するための客観的尺度を提案する。 提案手法は,入力画像の逆方向の摂動によるネットワーク結果の変化に基づく。 我々はまた,本質的な説明を損なうことなく,より解釈可能な地図を創出し,関連性マップのクリーン化へのアプローチの直接的な適用を提案する。
  論文  参考訳（メタデータ） (2020-04-22T19:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。