論文の概要: Monitoring Model Deterioration with Explainable Uncertainty Estimation
via Non-parametric Bootstrap
- arxiv url: http://arxiv.org/abs/2201.11676v1
- Date: Thu, 27 Jan 2022 17:23:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 14:04:41.158492
- Title: Monitoring Model Deterioration with Explainable Uncertainty Estimation
via Non-parametric Bootstrap
- Title（参考訳）: 非パラメトリックブートストラップによる不確実性推定によるモデル劣化のモニタリング
- Authors: Carlos Mougan, Dan Saattrup Nielsen
- Abstract要約: 一度デプロイされた機械学習モデルを監視することは難しい。
ラベル付きデータが到達範囲を超えている場合、実際のシナリオでモデルをいつ再トレーニングするかを判断するのはさらに難しい。
本研究では,非パラメトリックブートストラップ型不確実性推定とSHAP値を用いて説明可能な不確実性推定を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monitoring machine learning models once they are deployed is challenging. It
is even more challenging to decide when to retrain models in real-case
scenarios when labeled data is beyond reach, and monitoring performance metrics
becomes unfeasible. In this work, we use non-parametric bootstrapped
uncertainty estimates and SHAP values to provide explainable uncertainty
estimation as a technique that aims to monitor the deterioration of machine
learning models in deployment environments, as well as determine the source of
model deterioration when target labels are not available. Classical methods are
purely aimed at detecting distribution shift, which can lead to false positives
in the sense that the model has not deteriorated despite a shift in the data
distribution. To estimate model uncertainty we construct prediction intervals
using a novel bootstrap method, which improves upon the work of Kumar &
Srivastava (2012). We show that both our model deterioration detection system
as well as our uncertainty estimation method achieve better performance than
the current state-of-the-art. Finally, we use explainable AI techniques to gain
an understanding of the drivers of model deterioration. We release an open
source Python package, doubt, which implements our proposed methods, as well as
the code used to reproduce our experiments.
- Abstract（参考訳）: 一度デプロイされた機械学習モデルを監視することは難しい。
ラベル付きデータが到達範囲を超え、パフォーマンスメトリクスの監視が不可能になった場合、実際のシナリオでモデルを再トレーニングする時期を決定することは、さらに難しい。
本研究では、非パラメトリックブートストラップ型不確実性推定とSHAP値を用いて、デプロイメント環境における機械学習モデルの劣化を監視し、ターゲットラベルが利用できない場合のモデル劣化の原因を決定する技術として、説明可能な不確実性推定を提供する。
古典的手法は純粋に分布シフトを検出することを目的としており、これはデータ分布の変化にもかかわらずモデルが劣化していないという意味で偽陽性につながる可能性がある。
モデルの不確かさを推定するために, Kumar & Srivastava (2012) の作業を改善する新しいブートストラップ法を用いて予測区間を構築する。
その結果, モデル劣化検出システムと不確実性推定手法の両方が, 現状よりも優れた性能を実現することがわかった。
最後に,モデル劣化の要因を理解するために,説明可能なai技術を用いる。
提案手法を実装したPythonパッケージをオープンソースとしてリリースし,実験を再現するためのコードも公開しています。
関連論文リスト
- Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。
オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。
提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
論文 参考訳（メタデータ） (2024-08-05T03:18:58Z) - ALUM: Adversarial Data Uncertainty Modeling from Latent Model
Uncertainty Compensation [25.67258563807856]
本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。
提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
論文 参考訳（メタデータ） (2023-03-29T17:24:12Z) - Uncertainty Quantification for Local Model Explanations Without Model
Access [0.44241702149260353]
本稿では,機械学習モデルに対するポストホックな説明を生成するためのモデルに依存しないアルゴリズムを提案する。
本アルゴリズムは,モデルクエリの有限サンプルから説明を生成する際に必然的に発生する不確実性を定量化するためにブートストラップ方式を用いる。
論文 参考訳（メタデータ） (2023-01-13T21:18:00Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - A Geometric Method for Improved Uncertainty Estimation in Real-time [13.588210692213568]
ポストホックモデルキャリブレーションは、再トレーニングを必要とせずにモデルの不確実性推定を改善することができる。
我々の研究は不確実性推定のための幾何学的アプローチを推し進めている。
提案手法は,最近提案された手法よりも不確実性評価が優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:18:05Z) - Data Uncertainty without Prediction Models [0.8223798883838329]
予測モデルを明示的に使用せずに、距離重み付きクラス不純物という不確実性推定手法を提案する。
距離重み付きクラス不純物は予測モデルによらず効果的に機能することを確認した。
論文 参考訳（メタデータ） (2022-04-25T13:26:06Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳（メタデータ） (2021-10-12T17:21:41Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Bootstrapped model learning and error correction for planning with
uncertainty in model-based RL [1.370633147306388]
自然の目的は、環境のダイナミクスを正確に反映したモデルを学ぶことである。
本稿では,不確実性を考慮した強化学習エージェントによるモデルミス特定の問題について検討する。
本稿では,将来の状態と報酬の分布を学習するブートストラップ型マルチヘッドニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-15T15:41:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。