論文の概要: How to Evaluate Uncertainty Estimates in Machine Learning for
Regression?
- arxiv url: http://arxiv.org/abs/2106.03395v1
- Date: Mon, 7 Jun 2021 07:47:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:32:45.601806
- Title: How to Evaluate Uncertainty Estimates in Machine Learning for
Regression?
- Title（参考訳）: 回帰のための機械学習における不確実性評価方法
- Authors: Laurens Sluijterman, Eric Cator, Tom Heskes
- Abstract要約: ニューラルネットワークが普及するにつれて、それに伴う不確実性推定の必要性が高まっている。
現在のテスト手法は、予測の不確実性推定が、これまで見つからなかったテストセットにおける予測と観察の違いを説明するのがいかに優れているかに焦点を当てている。
しかしながら、この不確実性推定の質を評価する方法には深刻な欠陥があることを理論的議論とシミュレーションの両方を通して証明する。
- 参考スコア（独自算出の注目度）: 1.9551668880584971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As neural networks become more popular, the need for accompanying uncertainty
estimates increases. The current testing methodology focusses on how good the
predictive uncertainty estimates explain the differences between predictions
and observations in a previously unseen test set. Intuitively this is a logical
approach. The current setup of benchmark data sets also allows easy comparison
between the different methods. We demonstrate, however, through both
theoretical arguments and simulations that this way of evaluating the quality
of uncertainty estimates has serious flaws. Firstly, it cannot disentangle the
aleatoric from the epistemic uncertainty. Secondly, the current methodology
considers the uncertainty averaged over all test samples, implicitly averaging
out overconfident and underconfident predictions. When checking if the correct
fraction of test points falls inside prediction intervals, a good score on
average gives no guarantee that the intervals are sensible for individual
points. We demonstrate through practical examples that these effects can result
in favoring a method, based on the predictive uncertainty, that has undesirable
behaviour of the confidence intervals. Finally, we propose a simulation-based
testing approach that addresses these problems while still allowing easy
comparison between different methods.
- Abstract（参考訳）: ニューラルネットワークが普及するにつれて、不確実性推定に伴う必要性が増加する。
現在のテスト方法論では、予測の不確実性推定が予測と観測の違いをどの程度うまく説明できるかに焦点が当てられている。
直感的にはこれは論理的なアプローチです。
ベンチマークデータセットの現在の設定は、異なるメソッドの比較も容易である。
しかし,理論的な議論とシミュレーションを通じて,不確実性推定の質を評価する方法には重大な欠陥があることを実証する。
第一に、アレタリックをてんかんの不確実性から遠ざけることはできない。
第2に、現在の方法論では、すべてのテストサンプルの平均不確実性を考慮し、過信と過信の予測を暗黙的に平均化しています。
テストポイントの正しい割合が予測間隔内に収まるかどうかを確認すると、平均的な良いスコアは個々のポイントに対して適切な間隔を保証しない。
我々は,これらの効果が,信頼区間の望ましくない振る舞いを持つ予測的不確実性に基づく手法を好まざるを得ないことを実例で示す。
最後に,これらの問題に対処しつつ,異なる手法の比較を容易にするシミュレーションベースのテスト手法を提案する。
関連論文リスト
- Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Efficient Normalized Conformal Prediction and Uncertainty Quantification
for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests [0.0]
予測間隔で機械学習モデルをペアリングするための有望な方法として、コンフォーマル予測が登場した。
本研究では,深部回帰林から得られた分散度を算出し,各試料の不確かさを推定する手法を提案する。
論文 参考訳（メタデータ） (2024-02-21T19:09:53Z) - Automatically Reconciling the Trade-off between Prediction Accuracy and
Earliness in Prescriptive Business Process Monitoring [0.802904964931021]
本稿では,予測精度と予測聴力のトレードオフを自動的に整合する問題に着目する。
予測精度と補聴器とのトレードオフを和らげるために、文献で異なるアプローチが提示された。
予測精度と補聴器のトレードオフを整合する主要な代替手法の比較評価を行う。
論文 参考訳（メタデータ） (2023-07-12T06:07:53Z) - Rethinking Confidence Calibration for Failure Prediction [37.43981354073841]
現代のディープニューラルネットワークは、しばしば誤った予測を過信している。
ほとんどの信頼性校正手法は、故障予測に役に立たないか有害であることがわかった。
フラット・ミニマは故障予測に有用である,という単純な仮説を提案する。
論文 参考訳（メタデータ） (2023-03-06T08:54:18Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Comparing Sequential Forecasters [35.38264087676121]
2つの予測器を考えてみましょう。それぞれが時間とともに一連のイベントを予測します。
オンラインでもポストホックでも、予測と結果がどのように生成されたかの検証不可能な仮定を避けながら、これらの予測をどのように比較すればよいのか?
予測スコアの時間差を推定するための新しい逐次推論手法を提案する。
実世界の野球と天気予報機を比較することで,我々のアプローチを実証的に検証する。
論文 参考訳（メタデータ） (2021-09-30T22:54:46Z) - Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。
我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。
実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文 参考訳（メタデータ） (2021-05-25T14:35:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。