論文の概要: Better Understanding Differences in Attribution Methods via Systematic Evaluations

• arxiv url: http://arxiv.org/abs/2303.11884v2
• Date: Sun, 21 Jul 2024 15:24:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 06:06:15.094534
• Title: Better Understanding Differences in Attribution Methods via Systematic Evaluations
• Title（参考訳）: 体系的評価による帰属法の違いの理解の改善
• Authors: Sukrut Rao, Moritz Böhle, Bernt Schiele,
• Abstract要約: モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
• 参考スコア（独自算出の注目度）: 57.35035463793008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are very successful on many vision tasks, but hard to interpret due to their black box nature. To overcome this, various post-hoc attribution methods have been proposed to identify image regions most influential to the models' decisions. Evaluating such methods is challenging since no ground truth attributions exist. We thus propose three novel evaluation schemes to more reliably measure the faithfulness of those methods, to make comparisons between them more fair, and to make visual inspection more systematic. To address faithfulness, we propose a novel evaluation setting (DiFull) in which we carefully control which parts of the input can influence the output in order to distinguish possible from impossible attributions. To address fairness, we note that different methods are applied at different layers, which skews any comparison, and so evaluate all methods on the same layers (ML-Att) and discuss how this impacts their performance on quantitative metrics. For more systematic visualizations, we propose a scheme (AggAtt) to qualitatively evaluate the methods on complete datasets. We use these evaluation schemes to study strengths and shortcomings of some widely used attribution methods over a wide range of models. Finally, we propose a post-processing smoothing step that significantly improves the performance of some attribution methods, and discuss its applicability.
• Abstract（参考訳）: ディープニューラルネットワークは多くの視覚タスクで非常に成功したが、ブラックボックスの性質のため解釈が難しい。 これを解決するために、モデル決定に最も影響を及ぼす画像領域を特定するために、様々なポストホック属性法が提案されている。 根拠となる真理の帰属は存在しないため、そのような方法を評価することは困難である。 そこで我々は,これらの手法の忠実度をより確実に測定し,それらの比較をより公平にし,視覚検査をより系統的にするための3つの新しい評価手法を提案する。 信頼度に対処するために,入力のどの部分が出力に影響を与えるかを慎重に制御して,不可能な属性と区別する,新しい評価設定(DiFull)を提案する。 公平性に対処するために、異なるメソッドが異なるレイヤに適用されることに留意し、同じレイヤ上のすべてのメソッド(ML-Att)を評価し、これが定量的メトリクスのパフォーマンスにどのように影響するかについて議論する。 より体系的な可視化を行うため,完全データセット上の手法を質的に評価する手法(AggAttt)を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。 最後に、いくつかの属性法の性能を大幅に向上させる後処理スムース化ステップを提案し、その適用性について議論する。

関連論文リスト

• Toward Understanding the Disagreement Problem in Neural Network Feature Attribution [0.8057006406834466]
  ニューラルネットワークは 複雑なパターンと関係を 生のデータから識別する これらのブラックボックスモデルの内部動作を理解することは、依然として難しいが、高い意思決定には不可欠である。 我々の研究は、説明の基本的な、分布的な振る舞いを調査することによって、この混乱に対処する。
  論文  参考訳（メタデータ） (2024-04-17T12:45:59Z)
• A Large-Scale Empirical Study on Improving the Fairness of Image Classification Models [22.522156479335706]
  本稿では,現在ある最先端の公正性向上技術の性能を比較するための,最初の大規模実証的研究を行う。 その結果,各手法の性能は,データセットや属性によって大きく異なることがわかった。 異なる公平度評価指標は、その異なる焦点のために、明らかに異なる評価結果をもたらす。
  論文  参考訳（メタデータ） (2024-01-08T06:53:33Z)
• Towards Evaluating Transfer-based Attacks Systematically, Practically, and Fairly [79.07074710460012]
  ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。 ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。 30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
  論文  参考訳（メタデータ） (2023-11-02T15:35:58Z)
• Diffusion-based Visual Counterfactual Explanations -- Towards Systematic Quantitative Evaluation [64.0476282000118]
  視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。 評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。 本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
  論文  参考訳（メタデータ） (2023-08-11T12:22:37Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization [87.96102461221415]
  クラスごとの説明性を提供するアルゴリズムを開発した。 実験の広範なバッテリーでは、クラス固有の可視化のための手法の能力を実証する。
  論文  参考訳（メタデータ） (2020-12-03T18:48:39Z)
• On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link Prediction Methods [27.27230441498167]
  本稿では,知識グラフから情報を得る方法として,リンク予測とエンティティアライメント(Entity Alignment)の2つのファミリについて,より詳しく検討する。 特に、既存のスコアはすべて、異なるデータセット間で結果を比較するのにほとんど役に立たないことを実証する。 これは結果の解釈において様々な問題を引き起こしており、誤解を招く結論を裏付ける可能性がある。
  論文  参考訳（メタデータ） (2020-02-17T12:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。