論文の概要: Who Explains the Explanation? Quantitatively Assessing Feature
Attribution Methods
- arxiv url: http://arxiv.org/abs/2109.15035v1
- Date: Tue, 28 Sep 2021 07:10:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 15:05:25.555971
- Title: Who Explains the Explanation? Quantitatively Assessing Feature
Attribution Methods
- Title(参考訳): 誰が説明を?
特徴帰属法を定量的に評価する
- Authors: Anna Arias-Duart, Ferran Par\'es and Dario Garcia-Gasulla
- Abstract要約: 本稿では,説明の忠実度を定量化するための新しい評価指標であるフォーカス(Focus)を提案する。
ランダム化実験によって測定値のロバスト性を示し、次にFocusを用いて3つの一般的な説明可能性手法を評価し比較する。
実験の結果,LRPとGradCAMは一貫性があり信頼性が高いことがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI explainability seeks to increase the transparency of models, making them
more trustworthy in the process. The need for transparency has been recently
motivated by the emergence of deep learning models, which are particularly
obscure by nature. Even in the domain of images, where deep learning has
succeeded the most, explainability is still poorly assessed. Multiple feature
attribution methods have been proposed in the literature with the purpose of
explaining a DL model's behavior using visual queues, but no standardized
metrics to assess or select these methods exist. In this paper we propose a
novel evaluation metric -- the Focus -- designed to quantify the faithfulness
of explanations provided by feature attribution methods, such as LRP or
GradCAM. First, we show the robustness of the metric through randomization
experiments, and then use Focus to evaluate and compare three popular
explainability techniques using multiple architectures and datasets. Our
results find LRP and GradCAM to be consistent and reliable, the former being
more accurate for high performing models, while the latter remains most
competitive even when applied to poorly performing models. Finally, we identify
a strong relation between Focus and factors like model architecture and task,
unveiling a new unsupervised approach for the assessment of models.
- Abstract(参考訳): ai explainsabilityは、モデルの透明性を高め、プロセスにおいて信頼性を高めることを目指している。
透明性の必要性は、特に自然に不明瞭なディープラーニングモデルの出現によって、最近動機付けられている。
深層学習が最も成功している領域でも、説明可能性の評価は低いままである。
視覚的キューを用いてDLモデルの振る舞いを説明するために,複数の特徴属性法が文献で提案されているが,これらの手法を評価・選択するための標準メトリクスは存在しない。
本稿では,LRP や GradCAM などの特徴帰属手法によって提供される説明の忠実度を定量化する新しい評価尺度である Focus を提案する。
まず、ランダム化実験を通してメトリクスのロバスト性を示し、フォーカスを用いて複数のアーキテクチャとデータセットを用いた3つの一般的な説明可能性手法を評価し比較する。
その結果,LRP と GradCAM は高パフォーマンスモデルではより正確であるのに対して,低パフォーマンスモデルでは最も競争力のあるモデルであることがわかった。
最後に,焦点とモデルアーキテクチャやタスクなどの要因の強い関係を明らかにし,モデル評価のための教師なしアプローチを新たに提示する。
関連論文リスト
- Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD
Generalization [12.170049816808797]
既存の視覚言語モデルは、様々な視覚領域やタスクに対して強力な一般化を示す。
本稿では,OOD ゲネラリゼーションを改良するための新しいアプローチである OGEN を提案する。
具体的には、未知のクラスのクラス名のみを使用して、OOD機能を合成するために、クラス条件フィーチャジェネレータが導入された。
論文 参考訳(メタデータ) (2024-01-29T06:57:48Z) - Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳(メタデータ) (2024-01-02T17:08:26Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Using Explanations to Guide Models [68.64377323216817]
モデルガイダンスは、時にはモデルパフォーマンスも改善できることを示す。
本研究では,物体の特徴に着目したモデルの有効性を示す新しいエネルギー損失を提案する。
また、バウンディングボックスアノテーションのわずかな部分でも、これらのゲインが達成可能であることも示しています。
論文 参考訳(メタデータ) (2023-03-21T15:34:50Z) - Evaluating Representations with Readout Model Switching [18.475866691786695]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳(メタデータ) (2023-02-19T14:08:01Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳(メタデータ) (2020-06-09T16:27:17Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳(メタデータ) (2020-03-25T11:08:56Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。