論文の概要: Density Regression and Uncertainty Quantification with Bayesian Deep
Noise Neural Networks
- arxiv url: http://arxiv.org/abs/2206.05643v1
- Date: Sun, 12 Jun 2022 02:47:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 13:19:01.494373
- Title: Density Regression and Uncertainty Quantification with Bayesian Deep
Noise Neural Networks
- Title（参考訳）: ベイズ型ディープノイズニューラルネットワークを用いた密度回帰と不確実性定量化
- Authors: Daiwei Zhang, Tianci Liu, Jian Kang
- Abstract要約: ディープニューラルネットワーク(DNN)モデルは、幅広い教師付き学習アプリケーションにおいて最先端の予測精度を達成した。
DNN予測の不確実性を正確に定量化することは、依然として難しい課題である。
本稿では,ベイジアンディープノイズニューラルネットワーク (B-DeepNoise) を提案する。ベイジアンDNNは,ランダムノイズ変数をすべての隠蔽層に拡張することにより,標準ベイジアンDNNを一般化する。
予測精度,不確実性定量化精度,不確実性定量化効率の点で優れた性能を示した。
- 参考スコア（独自算出の注目度）: 4.376565880192482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural network (DNN) models have achieved state-of-the-art predictive
accuracy in a wide range of supervised learning applications. However,
accurately quantifying the uncertainty in DNN predictions remains a challenging
task. For continuous outcome variables, an even more difficult problem is to
estimate the predictive density function, which not only provides a natural
quantification of the predictive uncertainty, but also fully captures the
random variation in the outcome. In this work, we propose the Bayesian Deep
Noise Neural Network (B-DeepNoise), which generalizes standard Bayesian DNNs by
extending the random noise variable from the output layer to all hidden layers.
The latent random noise equips B-DeepNoise with the flexibility to approximate
highly complex predictive distributions and accurately quantify predictive
uncertainty. For posterior computation, the unique structure of B-DeepNoise
leads to a closed-form Gibbs sampling algorithm that iteratively simulates from
the posterior full conditional distributions of the model parameters,
circumventing computationally intensive Metropolis-Hastings methods. A
theoretical analysis of B-DeepNoise establishes a recursive representation of
the predictive distribution and decomposes the predictive variance with respect
to the latent parameters. We evaluate B-DeepNoise against existing methods on
benchmark regression datasets, demonstrating its superior performance in terms
of prediction accuracy, uncertainty quantification accuracy, and uncertainty
quantification efficiency. To illustrate our method's usefulness in scientific
studies, we apply B-DeepNoise to predict general intelligence from neuroimaging
features in the Adolescent Brain Cognitive Development (ABCD) project.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)モデルは、幅広い教師付き学習アプリケーションにおいて最先端の予測精度を達成した。
しかし、DNN予測の不確かさを正確に定量化することは難しい課題である。
連続結果変数の場合、さらに難しい問題は予測密度関数を推定することであり、予測の不確かさを自然に定量化するだけでなく、結果のランダムな変動を完全に捉えることができる。
本研究では,ベイジアンディープノイズニューラルネットワーク (B-DeepNoise) を提案する。これはベイジアンDNNを出力層からすべての隠れ層にランダムノイズ変数を拡張することによって一般化する。
潜在性ランダムノイズは、非常に複雑な予測分布を近似し、予測の不確かさを正確に定量化する柔軟性を持つ。
後続計算では、B-DeepNoiseのユニークな構造は、計算集約的なメトロポリス・ハスティング法を回避し、モデルパラメータの後方完全条件分布から反復的にシミュレートする閉形式ギブスサンプリングアルゴリズムに導かれる。
B-DeepNoiseの理論解析は、予測分布の再帰的表現を確立し、潜在パラメータに関する予測的分散を分解する。
ベンチマーク回帰データセットにおける既存の手法に対するb-deepnoiseの評価を行い、予測精度、不確実性定量化精度、不確実性定量化効率の点で、その優れた性能を示す。
我々は,B-DeepNoiseを用いて,青年期脳認知発達(ABCD)プロジェクトにおける神経画像の特徴から一般知能を予測する。
関連論文リスト
- Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - A Benchmark on Uncertainty Quantification for Deep Learning Prognostics [0.0]
診断学的な深層学習のための不確実性定量化の分野における最新の発展のいくつかを評価する。
これには、ベイズニューラルネットワーク(BNN)の最先端の変分推論アルゴリズムや、モンテカルロ・ドロップアウト(MCD)、ディープアンサンブル(DE)、ヘテロセダスティックニューラルネットワーク(HNN)などの一般的な代替品が含まれる。
この手法の性能は、NASA NCMAPSSの航空機エンジン用データセットのサブセットで評価される。
論文 参考訳（メタデータ） (2023-02-09T16:12:47Z) - Simulator-Based Inference with Waldo: Confidence Regions by Leveraging
Prediction Algorithms and Posterior Estimators for Inverse Problems [4.212344009251363]
WALDOは有限サンプル条件付き信頼領域を構築するための新しい手法である。
提案手法を最近の高エネルギー物理問題に適用し,より深いニューラルネットワークによる予測が予測バイアスによる推定を導いた。
論文 参考訳（メタデータ） (2022-05-31T10:43:18Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳（メタデータ） (2022-05-20T10:10:32Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Calibration and Uncertainty Quantification of Bayesian Convolutional
Neural Networks for Geophysical Applications [0.0]
このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。
一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。
ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
論文 参考訳（メタデータ） (2021-05-25T17:54:23Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Probabilistic Neighbourhood Component Analysis: Sample Efficient
Uncertainty Estimation in Deep Learning [25.8227937350516]
トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。
サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。
我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
論文 参考訳（メタデータ） (2020-07-18T21:36:31Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。