論文の概要: On the Trustworthiness of Tree Ensemble Explainability Methods
- arxiv url: http://arxiv.org/abs/2110.00086v1
- Date: Thu, 30 Sep 2021 20:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 14:33:00.207213
- Title: On the Trustworthiness of Tree Ensemble Explainability Methods
- Title（参考訳）: ツリーアンサンブル説明可能性法の信頼性について
- Authors: Angeline Yasodhara, Azin Asgarian, Diego Huang, Parinaz Sobhani
- Abstract要約: 特徴重要度法(ゲインやSHAPなど)は、このニーズに対処する最も一般的な説明可能性法の一つである。
信頼できる、意味のある説明可能性のテクニックは、正確で安定した説明を提供する必要があります。
シミュレーションと4つの実世界のデータセットを用いた包括的実験により,グローバルな特徴重要度手法の精度と安定性を評価する。
- 参考スコア（独自算出の注目度）: 0.9558392439655014
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The recent increase in the deployment of machine learning models in critical
domains such as healthcare, criminal justice, and finance has highlighted the
need for trustworthy methods that can explain these models to stakeholders.
Feature importance methods (e.g. gain and SHAP) are among the most popular
explainability methods used to address this need. For any explainability
technique to be trustworthy and meaningful, it has to provide an explanation
that is accurate and stable. Although the stability of local feature importance
methods (explaining individual predictions) has been studied before, there is
yet a knowledge gap about the stability of global features importance methods
(explanations for the whole model). Additionally, there is no study that
evaluates and compares the accuracy of global feature importance methods with
respect to feature ordering. In this paper, we evaluate the accuracy and
stability of global feature importance methods through comprehensive
experiments done on simulations as well as four real-world datasets. We focus
on tree-based ensemble methods as they are used widely in industry and measure
the accuracy and stability of explanations under two scenarios: 1) when inputs
are perturbed 2) when models are perturbed. Our findings provide a comparison
of these methods under a variety of settings and shed light on the limitations
of global feature importance methods by indicating their lack of accuracy with
and without noisy inputs, as well as their lack of stability with respect to:
1) increase in input dimension or noise in the data; 2) perturbations in models
initialized by different random seeds or hyperparameter settings.
- Abstract（参考訳）: 医療、刑事司法、財務といった重要な領域における機械学習モデルのデプロイの増加は、これらのモデルをステークホルダーに説明できる信頼できる方法の必要性を強調している。
特徴重要度法(ゲインやSHAPなど)は、このニーズに対処する最も一般的な説明可能性法の一つである。
信頼できる、意味のある説明可能性のテクニックは、正確で安定した説明を提供する必要があります。
局所的特徴重要手法(個々の予測を例示する)の安定性は以前から研究されてきたが、グローバル特徴重要手法(モデル全体の説明)の安定性に関する知識ギャップがある。
さらに、機能順序付けに関してグローバル特徴重要法の正確性を評価し比較する研究は行われていない。
本稿では,シミュレーションと4つの実世界のデータセットを用いて,グローバルな特徴重要度手法の精度と安定性を評価する。
業界で広く使われている木に基づくアンサンブル手法に注目し、説明の正確さと安定性を2つのシナリオで測る。
1)入力が乱されるとき
2)モデルが乱される場合。
本研究は,様々な環境下でのこれらの手法の比較を行い,ノイズ入力に対する精度の欠如と安定性の欠如を示すことにより,グローバル特徴重要手法の限界を浮き彫りにした。
1) データにおける入力寸法の増大又はノイズ
2) 異なるランダムシードやハイパーパラメータ設定で初期化したモデルにおける摂動
関連論文リスト
- Stable Update of Regression Trees [0.0]
本稿では,回帰木という,本質的に説明可能な機械学習手法の安定性に着目した。
本稿では,初期モデルの不確実性に基づいてデータポイントを重み付けする正規化手法を提案する。
その結果、提案手法は、類似またはより良い予測性能を達成しつつ、安定性の向上を図っている。
論文 参考訳（メタデータ） (2024-02-21T09:41:56Z) - Towards stable real-world equation discovery with assessing
differentiating quality influence [52.2980614912553]
一般的に用いられる有限差分法に代わる方法を提案する。
我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
論文 参考訳（メタデータ） (2023-11-09T23:32:06Z) - LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。
LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。
提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
論文 参考訳（メタデータ） (2023-10-01T04:09:59Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - SoK: Modeling Explainability in Security Analytics for Interpretability,
Trustworthiness, and Usability [2.656910687062026]
高信頼のセキュリティアプリケーションにおいて、解釈可能性、信頼性、およびユーザビリティが重要な考慮事項である。
ディープラーニングモデルは、分類や予測につながる重要な特徴や要因を特定するブラックボックスとして振る舞う。
ほとんどの説明法は矛盾した説明を提供し、忠実度は低く、敵の操作に影響を受けやすい。
論文 参考訳（メタデータ） (2022-10-31T15:01:49Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-07T10:14:18Z) - Bayesian Importance of Features (BIF) [11.312036995195594]
ディリクレ分布を用いて入力特徴の重要性を定義し、近似ベイズ推論により学習する。
学習された重要性は確率論的解釈を持ち、モデルの出力に対する各入力特徴の相対的な重要性を提供する。
本手法は, 各種合成および実データに対する有効性を示す。
論文 参考訳（メタデータ） (2020-10-26T19:55:58Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Reliable Post hoc Explanations: Modeling Uncertainty in Explainability [44.9824285459365]
ブラックボックスの説明は、高レベルの設定でモデルの信頼性を確立するために、ますます採用されている。
先行研究では、最先端の技術が生み出す説明は一貫性がなく不安定であり、その正確性や信頼性についての洞察はほとんど得られないことが示されている。
局所的な説明と関連する不確実性を生成するための新しいベイズ的枠組みを開発する。
論文 参考訳（メタデータ） (2020-08-11T22:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。