論文の概要: Uncovering the Structure of Explanation Quality with Spectral Analysis
- arxiv url: http://arxiv.org/abs/2504.08553v1
- Date: Fri, 11 Apr 2025 14:03:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:19:48.294272
- Title: Uncovering the Structure of Explanation Quality with Spectral Analysis
- Title(参考訳): スペクトル解析による説明品質の構造解明
- Authors: Johannes Maeß, Grégoire Montavon, Shinichi Nakajima, Klaus-Robert Müller, Thomas Schnake,
- Abstract要約: 本稿では,分析結果のスペクトル分析に基づく新しい枠組みを提案する。
分析の結果,品質安定度と目標感度の2つの要因が明らかになった。
- 参考スコア(独自算出の注目度): 20.207518354769594
- License:
- Abstract: As machine learning models are increasingly considered for high-stakes domains, effective explanation methods are crucial to ensure that their prediction strategies are transparent to the user. Over the years, numerous metrics have been proposed to assess quality of explanations. However, their practical applicability remains unclear, in particular due to a limited understanding of which specific aspects each metric rewards. In this paper we propose a new framework based on spectral analysis of explanation outcomes to systematically capture the multifaceted properties of different explanation techniques. Our analysis uncovers two distinct factors of explanation quality-stability and target sensitivity-that can be directly observed through spectral decomposition. Experiments on both MNIST and ImageNet show that popular evaluation techniques (e.g., pixel-flipping, entropy) partially capture the trade-offs between these factors. Overall, our framework provides a foundational basis for understanding explanation quality, guiding the development of more reliable techniques for evaluating explanations.
- Abstract(参考訳): 機械学習モデルは、ハイテイクドメインに対してますます検討されているため、予測戦略がユーザにとって透過的であることを保証するために、効果的な説明方法が不可欠である。
長年にわたり、説明の質を評価するために多くの指標が提案されてきた。
しかしながら、それらの実践的適用性は不明確であり、特に、それぞれのメートル法報酬の特定の側面についての理解が限られているためである。
本稿では,様々な説明手法の多面的特性を体系的に捉えるために,説明結果のスペクトル分析に基づく新しい枠組みを提案する。
分析の結果,スペクトル分解により直接観察できる品質安定性と目標感度の2つの要因が明らかになった。
MNISTとImageNetの両方の実験では、一般的な評価手法(例えば、ピクセルフレッピング、エントロピー)がこれらの要因間のトレードオフを部分的に捉えていることが示されている。
全体として、我々のフレームワークは、説明の質を理解するための基礎となる基盤を提供し、説明を評価するためのより信頼性の高い技術の開発を導く。
関連論文リスト
- Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳(メタデータ) (2024-08-08T17:20:08Z) - REVEL Framework to measure Local Linear Explanations for black-box
models: Deep Learning Image Classification case of study [12.49538398746092]
本稿では,理論的コヒーレントな発展を伴う説明の質に関する諸側面を評価するためのREVELと呼ばれる手法を提案する。
実験は,REVELの記述的および解析的パワーを示すベンチマークとして,画像4つのデータセットを用いて実施されている。
論文 参考訳(メタデータ) (2022-11-11T12:15:36Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳(メタデータ) (2022-06-20T03:09:46Z) - Uncertainty Quantification of Surrogate Explanations: an Ordinal
Consensus Approach [1.3750624267664155]
我々は, 多様な自己記述型サロゲート説明器の集合間のコンセンサスを測定することによって, 与えられた説明の不確かさを推定する。
我々は、最先端の畳み込みニューラルネットワークアンサンブルの実験を通して、このアプローチの特性を実証的に説明する。
論文 参考訳(メタデータ) (2021-11-17T13:55:58Z) - Detection Accuracy for Evaluating Compositional Explanations of Units [5.220940151628734]
このアプローチを使う方法の2つの例は、ネットワーク分割と構成的説明である。
直感的には、論理形式は原子概念よりも情報的であるが、この改善を定量化する方法は明らかではない。
提案手法は,各ユニットが割り当てた説明文の検出の一貫性を計測する検出精度の評価指標として用いる。
論文 参考訳(メタデータ) (2021-09-16T08:47:34Z) - On the Objective Evaluation of Post Hoc Explainers [10.981508361941335]
機械学習研究の最近の傾向は、それらがブラックボックスであると考えられる程度に、ますます複雑化しているアルゴリズムにつながっている。
意思決定の不透明度を低減するため、そのようなモデルの内部動作を人間に理解可能な方法で解釈する手法が提案されている。
本稿では,モデルの加法構造から直接導出される地底真理に基づくポストホック説明器の評価のための枠組みを提案する。
論文 参考訳(メタデータ) (2021-06-15T19:06:51Z) - On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。
これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。
これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
論文 参考訳(メタデータ) (2021-04-18T09:19:44Z) - Interpretable Deep Learning: Interpretations, Interpretability,
Trustworthiness, and Beyond [49.93153180169685]
一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。
我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。
信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
論文 参考訳(メタデータ) (2021-03-19T08:40:30Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳(メタデータ) (2020-09-25T12:01:53Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。