論文の概要: Model-agnostic variable importance for predictive uncertainty: an entropy-based approach

• arxiv url: http://arxiv.org/abs/2310.12842v3
• Date: Fri, 16 Aug 2024 10:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 21:05:52.174916
• Title: Model-agnostic variable importance for predictive uncertainty: an entropy-based approach
• Title（参考訳）: 予測不確実性に対するモデル非依存変数の重要性--エントロピーに基づくアプローチ
• Authors: Danny Wood, Theodore Papamarkou, Matt Benatan, Richard Allmendinger,
• Abstract要約: 既存の説明可能性の手法が不確実性を考慮したモデルにどのように拡張できるかを示す。 我々は、不確実性の原因とモデル性能への影響の両方を理解するために、これらのアプローチの有用性を実証する。
• 参考スコア（独自算出の注目度）: 1.912429179274357
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In order to trust the predictions of a machine learning algorithm, it is necessary to understand the factors that contribute to those predictions. In the case of probabilistic and uncertainty-aware models, it is necessary to understand not only the reasons for the predictions themselves, but also the reasons for the model's level of confidence in those predictions. In this paper, we show how existing methods in explainability can be extended to uncertainty-aware models and how such extensions can be used to understand the sources of uncertainty in a model's predictive distribution. In particular, by adapting permutation feature importance, partial dependence plots, and individual conditional expectation plots, we demonstrate that novel insights into model behaviour may be obtained and that these methods can be used to measure the impact of features on both the entropy of the predictive distribution and the log-likelihood of the ground truth labels under that distribution. With experiments using both synthetic and real-world data, we demonstrate the utility of these approaches to understand both the sources of uncertainty and their impact on model performance.
• Abstract（参考訳）: 機械学習アルゴリズムの予測を信頼するには,これらの予測に寄与する要因を理解する必要がある。 確率論的かつ不確実性を考慮したモデルの場合、予測自体の理由だけでなく、モデルが予測に自信を持つ理由も理解する必要がある。 本稿では、既存の説明可能性の手法を不確実性認識モデルに拡張し、そのような拡張を用いてモデルの予測分布における不確実性の原因を理解する方法について述べる。 特に、置換特徴量の重要性、部分依存プロット、個別条件予測プロットを適応させることにより、モデル行動に対する新たな洞察が得られ、これらの手法が、その分布の下での予測分布のエントロピーと基底真理ラベルの対数類似度の両方に対する特徴の影響を測定することができることを示す。 合成データと実世界のデータの両方を用いて実験を行い、不確実性の原因とモデル性能への影響の両方を理解するためにこれらの手法の有用性を実証する。

関連論文リスト

• Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty [6.3398383724486544]
  予測の不確実性は、ベイズ平均(BMA)予測分布のエントロピーによってよく測定される。 これらの制限を克服するために理論的に根ざした尺度を導入する。 提案手法は, 制御された合成タスクにおいて, より合理的に振る舞う。
  論文  参考訳（メタデータ） (2023-11-14T16:55:12Z)
• Invariant Probabilistic Prediction [45.90606906307022]
  任意の分布シフトは、一般に不変かつ頑健な確率的予測を認めないことを示す。 Invariant probabilistic predictions called IPP, and study the consistency of the underlying parameters。
  論文  参考訳（メタデータ） (2023-09-18T18:50:24Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Model-free generalized fiducial inference [0.0]
  本稿では,不正確な確率的予測推定のためのモデルフリー統計フレームワークの提案と開発を行う。 このフレームワークは、タイプ1エラーの有限サンプル制御を提供する予測セットの形式での不確実性定量化を促進する。 モデルフリー不正確なフレームワークに対する正確な確率近似の理論的および経験的特性について考察する。
  論文  参考訳（メタデータ） (2023-07-24T01:58:48Z)
• Predicting from Predictions [18.393971232725015]
  観測データから,結果に対する予測の因果的影響を同定する方法について検討した。 予測から予測する教師あり学習は,特徴,予測,結果の間の伝達可能な機能的関係を見出すことができることを示す。
  論文  参考訳（メタデータ） (2022-08-15T16:57:02Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)
• Latent Causal Invariant Model [128.7508609492542]
  現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。 因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
  論文  参考訳（メタデータ） (2020-11-04T10:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。