論文の概要: Enhancing Post-Hoc Explanation Benchmark Reliability for Image Classification

• arxiv url: http://arxiv.org/abs/2311.17876v1
• Date: Wed, 29 Nov 2023 18:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 20:23:22.402959
• Title: Enhancing Post-Hoc Explanation Benchmark Reliability for Image Classification
• Title（参考訳）: 画像分類のためのポストホック説明ベンチマークの信頼性向上
• Authors: Tristan Gomez, Harold Mouch\`ere
• Abstract要約: 実証的な評価では、メトリクス、データセット、ポストホックメソッドのベンチマーク信頼性が大幅に向上した。 この先駆的な研究は、ポストホックな説明手法の領域において、より信頼性の高い評価実践の基礎を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks, while powerful for image classification, often operate as "black boxes," complicating the understanding of their decision-making processes. Various explanation methods, particularly those generating saliency maps, aim to address this challenge. However, the inconsistency issues of faithfulness metrics hinder reliable benchmarking of explanation methods. This paper employs an approach inspired by psychometrics, utilizing Krippendorf's alpha to quantify the benchmark reliability of post-hoc methods in image classification. The study proposes model training modifications, including feeding perturbed samples and employing focal loss, to enhance robustness and calibration. Empirical evaluations demonstrate significant improvements in benchmark reliability across metrics, datasets, and post-hoc methods. This pioneering work establishes a foundation for more reliable evaluation practices in the realm of post-hoc explanation methods, emphasizing the importance of model robustness in the assessment process.
• Abstract（参考訳）: ディープニューラルネットワークは、画像分類に強力であるが、しばしば「ブラックボックス」として動作し、意思決定プロセスの理解を複雑にする。 様々な説明手法、特にサリエンシマップの作成は、この問題に対処することを目指している。 しかし、忠実度測定の不整合問題は、説明手法の信頼性の高いベンチマークを妨げている。 本稿では、クリッペンドルフのαを用いて、画像分類におけるポストホック手法のベンチマーク信頼性を定量化する。 本研究は,頑健さと校正性を高めるため,摂食サンプルの摂食や焦点損失の活用を含むモデルトレーニング修正を提案する。 実証的な評価では、メトリクス、データセット、ポストホックメソッドのベンチマーク信頼性が大幅に向上した。 この先駆的な研究は、評価プロセスにおけるモデルロバスト性の重要性を強調し、ポストホックな説明手法の領域においてより信頼性の高い評価実践の基礎を確立する。

関連論文リスト

• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• Learning Confidence Bounds for Classification with Imbalanced Data [42.690254618937196]
  本稿では,学習理論と集中不等式を利用して従来のソリューションの欠点を克服する新しい枠組みを提案する。 本手法は, クラスごとに異なる不均衡度に効果的に適応できるため, より堅牢で信頼性の高い分類結果が得られる。
  論文  参考訳（メタデータ） (2024-07-16T16:02:27Z)
• Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
  属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。 本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。 次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
  論文  参考訳（メタデータ） (2024-05-02T13:48:37Z)
• Toward Understanding the Disagreement Problem in Neural Network Feature Attribution [0.8057006406834466]
  ニューラルネットワークは 複雑なパターンと関係を 生のデータから識別する これらのブラックボックスモデルの内部動作を理解することは、依然として難しいが、高い意思決定には不可欠である。 我々の研究は、説明の基本的な、分布的な振る舞いを調査することによって、この混乱に対処する。
  論文  参考訳（メタデータ） (2024-04-17T12:45:59Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• Who Explains the Explanation? Quantitatively Assessing Feature Attribution Methods [0.0]
  本稿では,説明の忠実度を定量化するための新しい評価指標であるフォーカス(Focus)を提案する。 ランダム化実験によって測定値のロバスト性を示し、次にFocusを用いて3つの一般的な説明可能性手法を評価し比較する。 実験の結果,LRPとGradCAMは一貫性があり信頼性が高いことがわかった。
  論文  参考訳（メタデータ） (2021-09-28T07:10:24Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。