論文の概要: Quantifying Model Predictive Uncertainty with Perturbation Theory

• arxiv url: http://arxiv.org/abs/2109.10888v1
• Date: Wed, 22 Sep 2021 17:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 13:31:01.738865
• Title: Quantifying Model Predictive Uncertainty with Perturbation Theory
• Title（参考訳）: 摂動理論による予測不確かさの定量化
• Authors: Rishabh Singh and Jose C. Principe
• Abstract要約: 本稿では,ニューラルネットワークの予測不確実性定量化のためのフレームワークを提案する。 量子物理学の摂動理論を用いてモーメント分解問題を定式化する。 我々の手法は、より高精度でキャリブレーションの高い高速なモデル予測不確実性推定を提供する。
• 参考スコア（独自算出の注目度）: 21.591460685054546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a framework for predictive uncertainty quantification of a neural network that replaces the conventional Bayesian notion of weight probability density function (PDF) with a physics based potential field representation of the model weights in a Gaussian reproducing kernel Hilbert space (RKHS) embedding. This allows us to use perturbation theory from quantum physics to formulate a moment decomposition problem over the model weight-output relationship. The extracted moments reveal successive degrees of regularization of the weight potential field around the local neighborhood of the model output. Such localized moments represent well the PDF tails and provide significantly greater accuracy of the model's predictive uncertainty than the central moments characterized by Bayesian and ensemble methods or their variants. We show that this consequently leads to a better ability to detect false model predictions of test data that has undergone a covariate shift away from the training PDF learned by the model. We evaluate our approach against baseline uncertainty quantification methods on several benchmark datasets that are corrupted using common distortion techniques. Our approach provides fast model predictive uncertainty estimates with much greater precision and calibration.
• Abstract（参考訳）: 本稿では,従来の重み確率密度関数(pdf)のベイズ概念を,ガウス再現核ヒルベルト空間(rkhs)埋め込みにおけるモデル重みのポテンシャル場表現に置き換えた,ニューラルネットワークの予測的不確実性定量化のための枠組みを提案する。 これにより、量子物理学からの摂動理論を用いて、モデル重み-出力関係上のモーメント分解問題を定式化することができる。 抽出されたモーメントは、モデル出力の局所近傍周辺の重みポテンシャル場の連続的な正規化の度合いを示す。 このような局所化されたモーメントはPDFの尾部をよく表し、ベイズ的手法やアンサンブル法によって特徴づけられる中心的なモーメントやそれらの変種よりも、モデルの予測的不確かさをはるかに高い精度で表す。 その結果、モデルが学習したトレーニングpdfからの共変量シフトを伴い、テストデータの誤ったモデル予測を検出する能力が向上することが示された。 我々は, 一般的な歪み手法を用いて, 劣化したベンチマークデータセットのベースライン不確実性定量化手法に対するアプローチを評価する。 提案手法は,より高精度でキャリブレーション可能な高速モデル予測の不確実性推定を提供する。

関連論文リスト

• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• An Energy-Based Prior for Generative Saliency [62.79775297611203]
  本稿では,情報的エネルギーベースモデルを事前分布として採用する,新たな生成正当性予測フレームワークを提案する。 生成サリエンシモデルを用いて,画像から画素単位の不確実性マップを得ることができ,サリエンシ予測におけるモデル信頼度を示す。 実験結果から, エネルギーベース先行モデルを用いた生成塩分率モデルでは, 精度の高い塩分率予測だけでなく, 人間の知覚と整合した信頼性の高い不確実性マップを実現できることが示された。
  論文  参考訳（メタデータ） (2022-04-19T10:51:00Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• CovarianceNet: Conditional Generative Model for Correct Covariance Prediction in Human Motion Prediction [71.31516599226606]
  本稿では,将来の軌道の予測分布に関連する不確かさを正確に予測する手法を提案する。 我々のアプローチであるCovariaceNetは、ガウス潜在変数を持つ条件付き生成モデルに基づいている。
  論文  参考訳（メタデータ） (2021-09-07T09:38:24Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications [0.0]
  このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。 一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。 ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
  論文  参考訳（メタデータ） (2021-05-25T17:54:23Z)
• A Kernel Framework to Quantify a Model's Local Predictive Uncertainty under Data Distributional Shifts [21.591460685054546]
  訓練されたニューラルネットワークの内部層出力は、そのマッピング機能と入力データ分布の両方に関連するすべての情報を含む。 生予測空間のPDFを明示的に推定する訓練ニューラルネットワークの予測不確実性定量化のためのフレームワークを提案する。 カーネルフレームワークは、モデル予測エラーを検出する能力に基づいて、はるかに精度の高いモデル不確実性推定を提供する。
  論文  参考訳（メタデータ） (2021-03-02T00:31:53Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Towards a Kernel based Uncertainty Decomposition Framework for Data and Models [20.348825818435767]
  本稿では,データとモデルの両方において予測の不確実性を定量化する新しいフレームワークを提案する。 我々は,このフレームワークを,点予測ニューラルネットワークモデルの予測不確実性定量化のためのサロゲートツールとして応用する。
  論文  参考訳（メタデータ） (2020-01-30T18:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。