論文の概要: Evaluating Feature Attribution: An Information-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2202.00449v1
• Date: Tue, 1 Feb 2022 15:00:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 13:53:27.870295
• Title: Evaluating Feature Attribution: An Information-Theoretic Perspective
• Title（参考訳）: 特徴属性の評価:情報理論の視点から
• Authors: Yao Rong, Tobias Leemann, Vadim Borisov, Gjergji Kasneci, Enkelejda Kasneci
• Abstract要約: 画素摂動に基づく評価戦略の情報理論解析について述べる。 その結果, 異なる評価手法による出力は, 除去画素の形状による情報漏洩の影響を強く受けていることが判明した。 本稿では2つのコントリビューションを提供するRemove and Debias(ROAD)と呼ばれる新しい評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.101718565039015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With a variety of local feature attribution methods being proposed in recent years, follow-up work suggested several evaluation strategies. To assess the attribution quality across different attribution techniques, the most popular among these evaluation strategies in the image domain use pixel perturbations. However, recent advances discovered that different evaluation strategies produce conflicting rankings of attribution methods and can be prohibitively expensive to compute. In this work, we present an information-theoretic analysis of evaluation strategies based on pixel perturbations. Our findings reveal that the results output by different evaluation strategies are strongly affected by information leakage through the shape of the removed pixels as opposed to their actual values. Using our theoretical insights, we propose a novel evaluation framework termed Remove and Debias (ROAD) which offers two contributions: First, it mitigates the impact of the confounders, which entails higher consistency among evaluation strategies. Second, ROAD does not require the computationally expensive retraining step and saves up to 99% in computational costs compared to the state-of-the-art. Our source code is available at https://github.com/tleemann/road_evaluation.
• Abstract（参考訳）: 近年, 様々な特徴帰属手法が提案されているため, フォローアップ研究はいくつかの評価戦略を提案した。 異なる帰属技法における帰属品質を評価するために、画像領域におけるこれらの評価戦略で最も人気のあるのは画素摂動である。 しかし、近年の進歩により、異なる評価戦略が帰属方法の矛盾するランキングを生み出し、計算に不当にコストがかかることが判明した。 本研究では,画素摂動に基づく評価戦略の情報理論解析について述べる。 その結果, 異なる評価手法による出力は, 実際の値と対照的に, 除去画素の形状による情報漏洩の影響が強いことがわかった。 まず,共同設立者の影響を緩和し,評価戦略の整合性を高めることを目的とした,新たな評価フレームワークであるRemove and Debias(ROAD)を提案する。 第二に、ROADは計算的に高価な再訓練ステップを必要とせず、最先端技術と比較して計算コストを最大99%削減する。 ソースコードはhttps://github.com/tleemann/road_evaluationで入手できます。

関連論文リスト

• Exploring the Performance of Continuous-Time Dynamic Link Prediction Algorithms [14.82820088479196]
  ダイナミックリンク予測(DLP)は、進化するネットワークにおける将来のリンクの予測に対処する。 本研究では,このような総合的な評価を行うためのツールをコントリビュートする。 評価時に使用可能な陰性サンプリング手法の網羅的な分類法について述べる。
  論文  参考訳（メタデータ） (2024-05-27T14:03:28Z)
• Evaluation in Neural Style Transfer: A Review [0.7614628596146599]
  既存の評価手法の詳細な分析を行い、現在の評価手法の不整合と限界を特定し、標準化された評価手法の推奨を行う。 我々は、ロバストな評価フレームワークの開発により、より有意義で公平な比較が可能になるだけでなく、この分野における研究成果の理解と解釈を高めることができると考えている。
  論文  参考訳（メタデータ） (2024-01-30T15:45:30Z)
• A Call to Reflect on Evaluation Practices for Age Estimation: Comparative Analysis of the State-of-the-Art and a Unified Benchmark [2.156208381257605]
  我々は、最先端の顔年齢推定法について、広範囲に比較分析を行う。 その結果,他の要因と比較すると,手法間の性能差は無視できることがわかった。 バックボーンモデルとしてFaRLを用い,すべての公開データセット上での有効性を実証する。
  論文  参考訳（メタデータ） (2023-07-10T14:02:31Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• On The Coherence of Quantitative Evaluation of Visual Explanations [0.7212939068975619]
  視覚的説明の「良さ」を評価するための評価手法が提案されている。 我々はImageNet-1k検証セットのサブセットについて検討し、多くの一般的な説明手法を評価した。 本研究の結果から, 評価方法のいくつかは, 階調のコヒーレンシーが欠如していることが示唆された。
  論文  参考訳（メタデータ） (2023-02-14T13:41:57Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• Performance Evaluation of Adversarial Attacks: Discrepancies and Solutions [51.8695223602729]
  機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。 本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。 psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
  論文  参考訳（メタデータ） (2021-04-22T14:36:51Z)
• Learning Expectation of Label Distribution for Facial Age and Attractiveness Estimation [65.5880700862751]
  本稿では,2つの最先端手法(Ranking-CNNとDLDL)の本質的な関係を解析し,ランキング法が実際にラベル分布を暗黙的に学習していることを示す。 軽量なネットワークアーキテクチャを提案し、顔属性の分布と回帰属性の値を共同で学習できる統一的なフレームワークを提案する。 提案手法は,36$times$パラメータが小さく,3$times$が顔の年齢/魅力度推定における高速な推論速度を持つ単一モデルを用いて,新しい最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-07-03T15:46:53Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)
• Kalman meets Bellman: Improving Policy Evaluation through Value Tracking [59.691919635037216]
  政策評価は強化学習(RL)における重要なプロセスである 我々はKalman Optimization for Value Approximation (KOVA)と呼ばれる最適化手法を考案した。 KOVAはパラメータとノイズリターンの不確実性の両方に関する正規化対象関数を最小化する。
  論文  参考訳（メタデータ） (2020-02-17T13:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。