論文の概要: Unveiling Empirical Pathologies of Laplace Approximation for Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2312.10464v1
• Date: Sat, 16 Dec 2023 14:46:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 16:33:48.196929
• Title: Unveiling Empirical Pathologies of Laplace Approximation for Uncertainty Estimation
• Title（参考訳）: 不確かさ推定のためのラプラス近似の実証診断
• Authors: Maksim Zhdanov, Stanislav Dereka, Sergey Kolesnikov
• Abstract要約: ディープラーニングにおける不確実性推定のためのベイズ的手法を批判的に評価する。 その結果,従来のヘッセン行列の固定法は分布外検出効率に悪影響を及ぼすことが明らかとなった。 我々は、事前精度の最適化にのみ焦点をあてることで、より正確な不確実性推定が得られるという、異なる視点を提案する。
• 参考スコア（独自算出の注目度）: 5.371337604556312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we critically evaluate Bayesian methods for uncertainty estimation in deep learning, focusing on the widely applied Laplace approximation and its variants. Our findings reveal that the conventional method of fitting the Hessian matrix negatively impacts out-of-distribution (OOD) detection efficiency. We propose a different point of view, asserting that focusing solely on optimizing prior precision can yield more accurate uncertainty estimates in OOD detection while preserving adequate calibration metrics. Moreover, we demonstrate that this property is not connected to the training stage of a model but rather to its intrinsic properties. Through extensive experimental evaluation, we establish the superiority of our simplified approach over traditional methods in the out-of-distribution domain.
• Abstract（参考訳）: 本稿では,広く適用されたラプラス近似とその変種に着目し,ディープラーニングにおける不確実性推定のためのベイズ法を批判的に評価する。 その結果, 従来のヘッセン行列の固定法は, 分布外(OOD)検出効率に悪影響を及ぼすことがわかった。 そこで本研究では,事前精度の最適化のみに注目することで,適切なキャリブレーション指標を保ちながら,ood検出においてより正確な不確実性推定が得られることを示す。 さらに,本特性はモデルの訓練段階に関係せず,本質的性質に関係していることを示す。 広範囲な実験評価を通じて, 従来の分散領域における手法よりも簡便なアプローチが優れていることを示す。

関連論文リスト

• Uncertainty Estimation for Safety-critical Scene Segmentation via Fine-grained Reward Maximization [12.79542334840646]
  不確実性推定は、安全クリティカルなシナリオにおけるディープセグメンテーションモデルの将来の信頼性の高い展開において重要な役割を果たす。 本研究では,不確実性推定に対処する新たな微粒化報酬(FGRM)フレームワークを提案する。 本手法は,不確実性推定のキャリブレーション指標のすべてに対して,最先端の手法よりも明確なマージンで優れる。
  論文  参考訳（メタデータ） (2023-11-05T17:43:37Z)
• dugMatting: Decomposed-Uncertainty-Guided Matting [83.71273621169404]
  そこで本稿では, 明確に分解された不確かさを探索し, 効率よく効率よく改善する, 分解不確実性誘導型マッチングアルゴリズムを提案する。 提案したマッチングフレームワークは,シンプルで効率的なラベリングを用いて対話領域を決定する必要性を緩和する。
  論文  参考訳（メタデータ） (2023-06-02T11:19:50Z)
• Optimal Learning via Moderate Deviations Theory [4.6930976245638245]
  我々は、中等度偏差原理に基づくアプローチを用いて、高精度な信頼区間の体系的構築を開発する。 提案した信頼区間は,指数的精度,最小性,整合性,誤評価確率,結果整合性(UMA)特性の基準を満たすという意味で統計的に最適であることが示されている。
  論文  参考訳（メタデータ） (2023-05-23T19:57:57Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Uncertainty Estimation based on Geometric Separation [13.588210692213568]
  機械学習では、特定の入力が正しい確率を正確に予測することがリスク管理に不可欠である。 機械学習モデルにおける不確実性推定を改善するための新しい幾何学的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-11T13:19:24Z)
• Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification [2.922007656878633]
  適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。 提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-09-18T10:29:02Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Gradient-Based Quantification of Epistemic Uncertainty for Deep Object Detectors [8.029049649310213]
  本稿では,新しい勾配に基づく不確実性指標を導入し,異なる物体検出アーキテクチャについて検討する。 実験では、真の肯定的/偽の正の判別と、結合上の交叉の予測において顕著な改善が示された。 また,モンテカルロのドロップアウト不確実性指標に対する改善や,さまざまな不確実性指標のソースを集約することで,さらなる大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2021-07-09T16:04:11Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。