論文の概要: Comparing Explanation Methods for Traditional Machine Learning Models
Part 2: Quantifying Model Explainability Faithfulness and Improvements with
Dimensionality Reduction
- arxiv url: http://arxiv.org/abs/2211.10378v1
- Date: Fri, 18 Nov 2022 17:15:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 13:49:49.644116
- Title: Comparing Explanation Methods for Traditional Machine Learning Models
Part 2: Quantifying Model Explainability Faithfulness and Improvements with
Dimensionality Reduction
- Title（参考訳）: 従来型機械学習モデルの説明方法の比較(その2) : モデル説明可能性の定量化と次元性低減による改善
- Authors: Montgomery Flora, Corey Potvin, Amy McGovern, Shawn Handler
- Abstract要約: 忠実さ」または「忠実さ」とは、割り当てられた特徴の重要性と、その特徴のモデル性能への貢献の対応を指す。
本研究は,関係する特徴を限定することによる説明可能性の向上と,異なる説明可能性手法の相対的忠実性を知ることから,初めて説明可能性の向上を定量化した1つである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Machine learning (ML) models are becoming increasingly common in the
atmospheric science community with a wide range of applications. To enable
users to understand what an ML model has learned, ML explainability has become
a field of active research. In Part I of this two-part study, we described
several explainability methods and demonstrated that feature rankings from
different methods can substantially disagree with each other. It is unclear,
though, whether the disagreement is overinflated due to some methods being less
faithful in assigning importance. Herein, "faithfulness" or "fidelity" refer to
the correspondence between the assigned feature importance and the contribution
of the feature to model performance. In the present study, we evaluate the
faithfulness of feature ranking methods using multiple methods. Given the
sensitivity of explanation methods to feature correlations, we also quantify
how much explainability faithfulness improves after correlated features are
limited. Before dimensionality reduction, the feature relevance methods [e.g.,
SHAP, LIME, ALE variance, and logistic regression (LR) coefficients] were
generally more faithful than the permutation importance methods due to the
negative impact of correlated features. Once correlated features were reduced,
traditional permutation importance became the most faithful method. In
addition, the ranking uncertainty (i.e., the spread in rank assigned to a
feature by the different ranking methods) was reduced by a factor of 2-10, and
excluding less faithful feature ranking methods reduces it further. This study
is one of the first to quantify the improvement in explainability from limiting
correlated features and knowing the relative fidelity of different
explainability methods.
- Abstract（参考訳）: 機械学習(ML)モデルは、幅広い用途を持つ大気科学コミュニティにおいて、ますます一般的になりつつある。
MLモデルが何を学んだのかをユーザが理解できるようにするため、ML説明性は活発な研究分野となっている。
本研究の第1部では,いくつかの説明可能性について記述し,異なる手法による特徴ランキングが互いにほぼ一致しないことを示した。
しかし、重要性の割り当てに忠実でない方法があるため、不一致が過度に膨らんでいるかどうかは不明である。
ここで、「満足度」または「忠実度」とは、割り当てられた特徴の重要性と、その特徴のモデル性能への寄与との対応をいう。
本研究では,複数の手法を用いて特徴ランク付け手法の忠実性を評価する。
特徴相関に対する説明手法の感度を考慮し、相関特性が制限された後に説明可能性忠実度がどれだけ改善するかを定量化する。
次元が減少する前は, 特徴関係法(例えば, shap, lime, ale variance, logistic regression (lr) 係数)は, 相関特徴の負の影響により置換重要度法よりも一般的に忠実であった。
相関する特徴が減少すると、従来の置換の重要性は最も忠実な方法となった。
また、ランクの不確実性(すなわち、異なるランク法によって特徴に割り当てられたランクの広がり)を2～10倍に減らし、より忠実でない特徴のランク付け方法を排除することでさらに減少させる。
本研究は,異なる説明可能性の方法の相対的忠実性を知ることによって,説明可能性の向上を定量化する最初の方法の一つである。
関連論文リスト
- Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Comparing Explanation Methods for Traditional Machine Learning Models
Part 1: An Overview of Current Methods and Quantifying Their Disagreement [0.0]
本研究は,説明可能性と解釈可能性,局所的説明可能性とグローバル的説明可能性,特徴的重要性と特徴的関連性とを区別する。
我々は、様々な説明方法、解釈方法、そして、将来の研究者がこれらの製品を探索できるように完全なPythonパッケージ(scikit-explain)を提供し、それを実証し、視覚化する。
論文 参考訳（メタデータ） (2022-11-16T14:45:16Z) - Easy to Decide, Hard to Agree: Reducing Disagreements Between Saliency
Methods [0.15039745292757667]
本研究では,同じモデルインスタンスに適用した場合においても,サリエンシ法は低いランク相関を示すことを示す。
注意深い説明の忠実度を高める正規化技術は、給与法間の合意も高める。
論文 参考訳（メタデータ） (2022-11-15T18:18:34Z) - The impact of feature importance methods on the interpretation of defect
classifiers [13.840006058766766]
我々は18のソフトウェアプロジェクトと6つのよく使用される分類器のケーススタディにより,研究対象の分類器に関連する特徴的重要性のランクの一致を評価した。
調査対象のCA法では,各データセットの上位1位と上位3位に記載された特徴を含め,計算された特徴量のランクは強い一致を示した。
CFSのような単純な手法であっても,これらの特徴相互作用の除去はCAとCSの手法との整合性を向上させることが実証された。
論文 参考訳（メタデータ） (2022-02-04T21:00:59Z) - Search Methods for Sufficient, Socially-Aligned Feature Importance
Explanations with In-Distribution Counterfactuals [72.00815192668193]
特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。
FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
論文 参考訳（メタデータ） (2021-06-01T20:36:48Z) - Order in the Court: Explainable AI Methods Prone to Disagreement [0.0]
自然言語処理では、各入力トークンの独立的なコントリビューションをモデルの決定に向けて定量化する。
これまでの分析では、注意に基づく説明を忠実で妥当な救済の尺度として無効にするか、支持するかのどちらかを模索してきた。
ランク相関は概ね非形式的であり,特徴付加的手法の品質を計測しないことを示す。
論文 参考訳（メタデータ） (2021-05-07T14:27:37Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Towards Unifying Feature Attribution and Counterfactual Explanations:
Different Means to the Same End [17.226134854746267]
本稿では,一組の反実例から特徴帰属説明を生成する手法を提案する。
本報告では, 帰属に基づく説明の妥当性を, その必要性と充足性の観点から評価するために, 対実例をいかに活用するかを示す。
論文 参考訳（メタデータ） (2020-11-10T05:41:43Z) - Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。
より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。
5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
論文 参考訳（メタデータ） (2020-07-17T15:41:37Z) - Learning from Aggregate Observations [82.44304647051243]
本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。
本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。
単純な極大解は様々な微分可能なモデルに適用できる。
論文 参考訳（メタデータ） (2020-04-14T06:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。