論文の概要: Unveiling Empirical Pathologies of Laplace Approximation for Uncertainty
Estimation
- arxiv url: http://arxiv.org/abs/2312.10464v1
- Date: Sat, 16 Dec 2023 14:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 16:33:48.196929
- Title: Unveiling Empirical Pathologies of Laplace Approximation for Uncertainty
Estimation
- Title(参考訳): 不確かさ推定のためのラプラス近似の実証診断
- Authors: Maksim Zhdanov, Stanislav Dereka, Sergey Kolesnikov
- Abstract要約: ディープラーニングにおける不確実性推定のためのベイズ的手法を批判的に評価する。
その結果,従来のヘッセン行列の固定法は分布外検出効率に悪影響を及ぼすことが明らかとなった。
我々は、事前精度の最適化にのみ焦点をあてることで、より正確な不確実性推定が得られるという、異なる視点を提案する。
- 参考スコア(独自算出の注目度): 5.371337604556312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we critically evaluate Bayesian methods for uncertainty
estimation in deep learning, focusing on the widely applied Laplace
approximation and its variants. Our findings reveal that the conventional
method of fitting the Hessian matrix negatively impacts out-of-distribution
(OOD) detection efficiency. We propose a different point of view, asserting
that focusing solely on optimizing prior precision can yield more accurate
uncertainty estimates in OOD detection while preserving adequate calibration
metrics. Moreover, we demonstrate that this property is not connected to the
training stage of a model but rather to its intrinsic properties. Through
extensive experimental evaluation, we establish the superiority of our
simplified approach over traditional methods in the out-of-distribution domain.
- Abstract(参考訳): 本稿では,広く適用されたラプラス近似とその変種に着目し,ディープラーニングにおける不確実性推定のためのベイズ法を批判的に評価する。
その結果, 従来のヘッセン行列の固定法は, 分布外(OOD)検出効率に悪影響を及ぼすことがわかった。
そこで本研究では,事前精度の最適化のみに注目することで,適切なキャリブレーション指標を保ちながら,ood検出においてより正確な不確実性推定が得られることを示す。
さらに,本特性はモデルの訓練段階に関係せず,本質的性質に関係していることを示す。
広範囲な実験評価を通じて, 従来の分散領域における手法よりも簡便なアプローチが優れていることを示す。
関連論文リスト
- One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。
幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文 参考訳(メタデータ) (2023-12-16T14:59:11Z) - Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent
Representations [28.875819909902244]
不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。
既存の不確実性推定アプローチは、低次元分布仮定に依存している。
本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-25T12:22:18Z) - Gradient-based Uncertainty Attribution for Explainable Bayesian Deep
Learning [38.34033824352067]
ディープラーニングモデルによる予測は、データ摂動、敵攻撃、アウト・オブ・ディストリビューション・インプットの傾向が強い。
本稿では,正確な不確実性定量化を行うための説明可能かつ実用的なベイズ深層学習法を提案する。
論文 参考訳(メタデータ) (2023-04-10T19:14:15Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳(メタデータ) (2022-11-11T19:34:17Z) - How to Enable Uncertainty Estimation in Proximal Policy Optimization [20.468991996052953]
既存の不確実性推定手法は, 都市深部RLで広く採用されていない。
本稿では,アクタ・クリティカルRLアルゴリズムにおける不確実性とOODの定義を提案する。
本稿では,最近提案されたMasksemblesの手法が,調査手法間で好適なバランスをとることを実験的に示す。
論文 参考訳(メタデータ) (2022-10-07T15:56:59Z) - Uncertainty Estimation for Heatmap-based Landmark Localization [4.673063715963989]
推定誤差境界を持つ不確実性によって予測を分類するデータ駆動手法であるQuantile Binningを提案する。
この枠組みは,3つの不確実性対策を比較し,対比することによって実証する。
我々は、Quantile Binsで捕捉された大まかな誤予測をフィルタリングすることで、許容可能なエラー閾値下での予測の割合を大幅に改善する、という結論を導いた。
論文 参考訳(メタデータ) (2022-03-04T14:40:44Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳(メタデータ) (2021-07-01T17:59:07Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z) - The Aleatoric Uncertainty Estimation Using a Separate Formulation with
Virtual Residuals [51.71066839337174]
既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。
本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。
提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
論文 参考訳(メタデータ) (2020-11-03T12:11:27Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。