論文の概要: Enhancing Post-Hoc Explanation Benchmark Reliability for Image
Classification
- arxiv url: http://arxiv.org/abs/2311.17876v1
- Date: Wed, 29 Nov 2023 18:21:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 20:23:22.402959
- Title: Enhancing Post-Hoc Explanation Benchmark Reliability for Image
Classification
- Title(参考訳): 画像分類のためのポストホック説明ベンチマークの信頼性向上
- Authors: Tristan Gomez, Harold Mouch\`ere
- Abstract要約: 実証的な評価では、メトリクス、データセット、ポストホックメソッドのベンチマーク信頼性が大幅に向上した。
この先駆的な研究は、ポストホックな説明手法の領域において、より信頼性の高い評価実践の基礎を確立する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks, while powerful for image classification, often operate
as "black boxes," complicating the understanding of their decision-making
processes. Various explanation methods, particularly those generating saliency
maps, aim to address this challenge. However, the inconsistency issues of
faithfulness metrics hinder reliable benchmarking of explanation methods. This
paper employs an approach inspired by psychometrics, utilizing Krippendorf's
alpha to quantify the benchmark reliability of post-hoc methods in image
classification. The study proposes model training modifications, including
feeding perturbed samples and employing focal loss, to enhance robustness and
calibration. Empirical evaluations demonstrate significant improvements in
benchmark reliability across metrics, datasets, and post-hoc methods. This
pioneering work establishes a foundation for more reliable evaluation practices
in the realm of post-hoc explanation methods, emphasizing the importance of
model robustness in the assessment process.
- Abstract(参考訳): ディープニューラルネットワークは、画像分類に強力であるが、しばしば「ブラックボックス」として動作し、意思決定プロセスの理解を複雑にする。
様々な説明手法、特にサリエンシマップの作成は、この問題に対処することを目指している。
しかし、忠実度測定の不整合問題は、説明手法の信頼性の高いベンチマークを妨げている。
本稿では、クリッペンドルフのαを用いて、画像分類におけるポストホック手法のベンチマーク信頼性を定量化する。
本研究は,頑健さと校正性を高めるため,摂食サンプルの摂食や焦点損失の活用を含むモデルトレーニング修正を提案する。
実証的な評価では、メトリクス、データセット、ポストホックメソッドのベンチマーク信頼性が大幅に向上した。
この先駆的な研究は、評価プロセスにおけるモデルロバスト性の重要性を強調し、ポストホックな説明手法の領域においてより信頼性の高い評価実践の基礎を確立する。
関連論文リスト
- Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Better Understanding Differences in Attribution Methods via Systematic
Evaluations [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳(メタデータ) (2023-03-21T14:24:58Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - The Meta-Evaluation Problem in Explainable AI: Identifying Reliable
Estimators with MetaQuantus [10.135749005469686]
説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。
我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。
我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
論文 参考訳(メタデータ) (2023-02-14T18:59:02Z) - Learned reconstruction with convergence guarantees [3.9402707512848787]
データ駆動画像再構成における収束の概念について述べる。
ICNNの役割は、ディープラーニングのパワーと古典的凸正規化理論を組み合わせる可能性を提供するものである。
論文 参考訳(メタデータ) (2022-06-11T06:08:25Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳(メタデータ) (2021-12-05T04:36:09Z) - Who Explains the Explanation? Quantitatively Assessing Feature
Attribution Methods [0.0]
本稿では,説明の忠実度を定量化するための新しい評価指標であるフォーカス(Focus)を提案する。
ランダム化実験によって測定値のロバスト性を示し、次にFocusを用いて3つの一般的な説明可能性手法を評価し比較する。
実験の結果,LRPとGradCAMは一貫性があり信頼性が高いことがわかった。
論文 参考訳(メタデータ) (2021-09-28T07:10:24Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Cross Learning in Deep Q-Networks [82.20059754270302]
本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。
本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
論文 参考訳(メタデータ) (2020-09-29T04:58:17Z) - An Empirical Evaluation on Robustness and Uncertainty of Regularization
Methods [43.25086015530892]
ディープニューラルネットワーク(DNN)は、人間と根本的に異なる振る舞いをする。
入力にぼやけなどの小さな汚職が適用されると、簡単に予測を変更できる。
彼らは分布外サンプル(不適切な不確実性尺度)に自信を持って予測する。
論文 参考訳(メタデータ) (2020-03-09T01:15:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。