論文の概要: On the Trustworthiness of Tree Ensemble Explainability Methods
- arxiv url: http://arxiv.org/abs/2110.00086v1
- Date: Thu, 30 Sep 2021 20:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 14:33:00.207213
- Title: On the Trustworthiness of Tree Ensemble Explainability Methods
- Title（参考訳）: ツリーアンサンブル説明可能性法の信頼性について
- Authors: Angeline Yasodhara, Azin Asgarian, Diego Huang, Parinaz Sobhani
- Abstract要約: 特徴重要度法(ゲインやSHAPなど)は、このニーズに対処する最も一般的な説明可能性法の一つである。
信頼できる、意味のある説明可能性のテクニックは、正確で安定した説明を提供する必要があります。
シミュレーションと4つの実世界のデータセットを用いた包括的実験により,グローバルな特徴重要度手法の精度と安定性を評価する。
- 参考スコア（独自算出の注目度）: 0.9558392439655014
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The recent increase in the deployment of machine learning models in critical
domains such as healthcare, criminal justice, and finance has highlighted the
need for trustworthy methods that can explain these models to stakeholders.
Feature importance methods (e.g. gain and SHAP) are among the most popular
explainability methods used to address this need. For any explainability
technique to be trustworthy and meaningful, it has to provide an explanation
that is accurate and stable. Although the stability of local feature importance
methods (explaining individual predictions) has been studied before, there is
yet a knowledge gap about the stability of global features importance methods
(explanations for the whole model). Additionally, there is no study that
evaluates and compares the accuracy of global feature importance methods with
respect to feature ordering. In this paper, we evaluate the accuracy and
stability of global feature importance methods through comprehensive
experiments done on simulations as well as four real-world datasets. We focus
on tree-based ensemble methods as they are used widely in industry and measure
the accuracy and stability of explanations under two scenarios: 1) when inputs
are perturbed 2) when models are perturbed. Our findings provide a comparison
of these methods under a variety of settings and shed light on the limitations
of global feature importance methods by indicating their lack of accuracy with
and without noisy inputs, as well as their lack of stability with respect to:
1) increase in input dimension or noise in the data; 2) perturbations in models
initialized by different random seeds or hyperparameter settings.
- Abstract（参考訳）: 医療、刑事司法、財務といった重要な領域における機械学習モデルのデプロイの増加は、これらのモデルをステークホルダーに説明できる信頼できる方法の必要性を強調している。
特徴重要度法(ゲインやSHAPなど)は、このニーズに対処する最も一般的な説明可能性法の一つである。
信頼できる、意味のある説明可能性のテクニックは、正確で安定した説明を提供する必要があります。
局所的特徴重要手法(個々の予測を例示する)の安定性は以前から研究されてきたが、グローバル特徴重要手法(モデル全体の説明)の安定性に関する知識ギャップがある。
さらに、機能順序付けに関してグローバル特徴重要法の正確性を評価し比較する研究は行われていない。
本稿では,シミュレーションと4つの実世界のデータセットを用いて,グローバルな特徴重要度手法の精度と安定性を評価する。
業界で広く使われている木に基づくアンサンブル手法に注目し、説明の正確さと安定性を2つのシナリオで測る。
1)入力が乱されるとき
2)モデルが乱される場合。
本研究は,様々な環境下でのこれらの手法の比較を行い,ノイズ入力に対する精度の欠如と安定性の欠如を示すことにより,グローバル特徴重要手法の限界を浮き彫りにした。
1) データにおける入力寸法の増大又はノイズ
2) 異なるランダムシードやハイパーパラメータ設定で初期化したモデルにおける摂動
関連論文リスト
- Feature Importance Depends on Properties of the Data: Towards Choosing the Correct Explanations for Your Data and Decision Trees based Models [3.8246193345000226]
局所的な説明法によって提供される特徴重要度推定の質を評価する。
これらの手法により得られた特徴重要度評価の規模と指標に顕著な差異が認められた。
評価はこれらの制限を強調し,様々な説明手法の適合性と信頼性に関する貴重な知見を提供する。
論文 参考訳（メタデータ） (2025-02-11T00:29:55Z) - Towards stable real-world equation discovery with assessing
differentiating quality influence [52.2980614912553]
一般的に用いられる有限差分法に代わる方法を提案する。
我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
論文 参考訳（メタデータ） (2023-11-09T23:32:06Z) - LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。
LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。
提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
論文 参考訳（メタデータ） (2023-10-01T04:09:59Z) - SoK: Modeling Explainability in Security Analytics for Interpretability,
Trustworthiness, and Usability [2.656910687062026]
高信頼のセキュリティアプリケーションにおいて、解釈可能性、信頼性、およびユーザビリティが重要な考慮事項である。
ディープラーニングモデルは、分類や予測につながる重要な特徴や要因を特定するブラックボックスとして振る舞う。
ほとんどの説明法は矛盾した説明を提供し、忠実度は低く、敵の操作に影響を受けやすい。
論文 参考訳（メタデータ） (2022-10-31T15:01:49Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-07T10:14:18Z) - Bayesian Importance of Features (BIF) [11.312036995195594]
ディリクレ分布を用いて入力特徴の重要性を定義し、近似ベイズ推論により学習する。
学習された重要性は確率論的解釈を持ち、モデルの出力に対する各入力特徴の相対的な重要性を提供する。
本手法は, 各種合成および実データに対する有効性を示す。
論文 参考訳（メタデータ） (2020-10-26T19:55:58Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Reliable Post hoc Explanations: Modeling Uncertainty in Explainability [44.9824285459365]
ブラックボックスの説明は、高レベルの設定でモデルの信頼性を確立するために、ますます採用されている。
先行研究では、最先端の技術が生み出す説明は一貫性がなく不安定であり、その正確性や信頼性についての洞察はほとんど得られないことが示されている。
局所的な説明と関連する不確実性を生成するための新しいベイズ的枠組みを開発する。
論文 参考訳（メタデータ） (2020-08-11T22:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。