論文の概要: Do Feature Attribution Methods Correctly Attribute Features?
- arxiv url: http://arxiv.org/abs/2104.14403v1
- Date: Tue, 27 Apr 2021 20:35:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 03:20:03.903986
- Title: Do Feature Attribution Methods Correctly Attribute Features?
- Title（参考訳）: 特徴属性法は正しく特徴に寄与するか?
- Authors: Yilun Zhou, Serena Booth, Marco Tulio Ribeiro, Julie Shah
- Abstract要約: 特徴帰属法は、解釈可能な機械学習で非常に人気がある。
属性」の定義に関する合意はありません。
塩分マップ,合理性,注意の3つの方法を評価した。
- 参考スコア（独自算出の注目度）: 5.58592454173439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature attribution methods are exceedingly popular in interpretable machine
learning. They aim to compute the attribution of each input feature to
represent its importance, but there is no consensus on the definition of
"attribution", leading to many competing methods with little systematic
evaluation. The lack of attribution ground truth further complicates
evaluation, which has to rely on proxy metrics. To address this, we propose a
dataset modification procedure such that models trained on the new dataset have
ground truth attribution available. We evaluate three methods: saliency maps,
rationales, and attention. We identify their deficiencies and add a new
perspective to the growing body of evidence questioning their correctness and
reliability in the wild. Our evaluation approach is model-agnostic and can be
used to assess future feature attribution method proposals as well. Code is
available at https://github.com/YilunZhou/feature-attribution-evaluation.
- Abstract（参考訳）: 特徴帰属法は、解釈可能な機械学習で非常に人気がある。
それらは、その重要性を表すために各入力特徴の属性を計算することを目的としているが、"属性"の定義にはコンセンサスがなく、体系的な評価がほとんどない多くの競合する手法に繋がる。
帰属基盤の真実の欠如は、プロキシメトリクスに依存する評価をさらに複雑にする。
そこで本研究では,新しいデータセットでトレーニングされたモデルに,真理の帰属が期待できるようなデータセット修正手順を提案する。
塩分マップ,合理性,注意の3つの方法を評価した。
我々は,それらの欠陥を特定し,その正確性と信頼性に疑問を呈するエビデンスの増加に新たな視点を付加する。
評価アプローチはモデルに依存しず,今後の機能帰属提案の評価にも利用できる。
コードはhttps://github.com/yilunzhou/feature-attribution-evaluationで入手できる。
関連論文リスト
- On the Evaluation Consistency of Attribution-based Explanations [42.1421504321572]
本稿では,画像領域における属性メソッドのベンチマークを行うオープンプラットフォームであるMeta-Rankを紹介する。
1) 異なる設定下での属性評価手法の評価は、異なる性能ランキングを得ることができ、2) 多数のケースで矛盾するが、同一のトレーニング軌道に沿った個別のチェックポイントにまたがる顕著な一貫性を示す。
論文 参考訳（メタデータ） (2024-07-28T11:49:06Z) - Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。
本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z) - A Comprehensive and Reliable Feature Attribution Method: Double-sided
Remove and Reconstruct (DoRaR) [3.43406114216767]
そこで本稿では,複数の改善手法に基づくDoRaR(Do-sided Remove and Reconstruct)特徴属性法を提案する。
我々は,DoRaR特徴属性法が上記の問題を効果的に回避し,他の最先端特徴属性法よりも優れた特徴セレクタの訓練を支援することを実証した。
論文 参考訳（メタデータ） (2023-10-27T07:40:45Z) - A Dual-Perspective Approach to Evaluating Feature Attribution Methods [40.73602126894125]
本稿では,直観的特性を明らかにする忠実度パラダイムの中で,音性と完全性という2つの新しい視点を提案する。
健全性は、どの特徴が真に予測的特徴であるかを評価する一方、完全性は、結果の帰属が予測的特徴をどの程度うまく明らかにするかを調べる。
これらのメトリクスを主流属性法に適用し、特徴属性法を解析・比較するための新しいレンズを提供する。
論文 参考訳（メタデータ） (2023-08-17T12:41:04Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - Evaluating Feature Attribution Methods in the Image Domain [7.852862161478641]
既存のメトリクスについて検討し、属性マップの評価のための新しいメトリクスの変種を提案する。
異なる帰属指標は、帰属写像の根底にある異なる概念を測っているように見える。
本稿では,あるユースケースに対して理想的な特徴属性法を特定するための一般的なベンチマーク手法を提案する。
論文 参考訳（メタデータ） (2022-02-22T15:14:33Z) - Fine-Grained Neural Network Explanation by Identifying Input Features
with Predictive Information [53.28701922632817]
入力領域における予測情報を用いて特徴を識別する手法を提案する。
我々の手法の中核となる考え方は、予測潜在機能に関連する入力機能のみを通過させる入力のボトルネックを活用することである。
論文 参考訳（メタデータ） (2021-10-04T14:13:42Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - Rethinking of Pedestrian Attribute Recognition: A Reliable Evaluation
under Zero-Shot Pedestrian Identity Setting [48.347987541336146]
我々は、歩行者属性認識の状況を分析し、後退する時が来たと論じている。
我々は、歩行者属性認識を他の類似タスクと正式に定義し、区別する。
歩行者属性認識の進捗を測定するために,既存の4つのデータセットと2つの提案データセットを用いて実験を行った。
論文 参考訳（メタデータ） (2021-07-08T03:12:24Z) - Search Methods for Sufficient, Socially-Aligned Feature Importance
Explanations with In-Distribution Counterfactuals [72.00815192668193]
特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。
FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
論文 参考訳（メタデータ） (2021-06-01T20:36:48Z) - Towards Unifying Feature Attribution and Counterfactual Explanations:
Different Means to the Same End [17.226134854746267]
本稿では,一組の反実例から特徴帰属説明を生成する手法を提案する。
本報告では, 帰属に基づく説明の妥当性を, その必要性と充足性の観点から評価するために, 対実例をいかに活用するかを示す。
論文 参考訳（メタデータ） (2020-11-10T05:41:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。