論文の概要: Bayesian optimized deep ensemble for uncertainty quantification of deep neural networks: a system safety case study on sodium fast reactor thermal stratification modeling

• arxiv url: http://arxiv.org/abs/2412.08776v1
• Date: Wed, 11 Dec 2024 21:06:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:13.715670
• Title: Bayesian optimized deep ensemble for uncertainty quantification of deep neural networks: a system safety case study on sodium fast reactor thermal stratification modeling
• Title（参考訳）: ディープニューラルネットワークの不確実性定量のためのベイズ最適化ディープアンサンブル:ナトリウム高速反応器熱成層モデルにおけるシステム安全ケーススタディ
• Authors: Zaid Abulawi, Rui Hu, Prasanna Balaprakash, Yang Liu,
• Abstract要約: ディープ・アンサンブルはディープ・ニューラルネットワーク(DNN)における不確実性定量化(UQ)のための効率的でスケーラブルな方法である 本稿では,ベイズ最適化(BO)とBODEと呼ばれるDDEを組み合わせることによって,予測精度とUQを両立させる手法を提案する。 計算流体力学(CFD)データに基づいて学習したDensely Connected Convolutional Neural Network (DCNN) のケーススタディにBODEを適用し, 高速炉熱成層モデルにおける渦粘度を予測する。
• 参考スコア（独自算出の注目度）: 10.055838489452817
• License:
• Abstract: Accurate predictions and uncertainty quantification (UQ) are essential for decision-making in risk-sensitive fields such as system safety modeling. Deep ensembles (DEs) are efficient and scalable methods for UQ in Deep Neural Networks (DNNs); however, their performance is limited when constructed by simply retraining the same DNN multiple times with randomly sampled initializations. To overcome this limitation, we propose a novel method that combines Bayesian optimization (BO) with DE, referred to as BODE, to enhance both predictive accuracy and UQ. We apply BODE to a case study involving a Densely connected Convolutional Neural Network (DCNN) trained on computational fluid dynamics (CFD) data to predict eddy viscosity in sodium fast reactor thermal stratification modeling. Compared to a manually tuned baseline ensemble, BODE estimates total uncertainty approximately four times lower in a noise-free environment, primarily due to the baseline's overestimation of aleatoric uncertainty. Specifically, BODE estimates aleatoric uncertainty close to zero, while aleatoric uncertainty dominates the total uncertainty in the baseline ensemble. We also observe a reduction of more than 30% in epistemic uncertainty. When Gaussian noise with standard deviations of 5% and 10% is introduced into the data, BODE accurately fits the data and estimates uncertainty that aligns with the data noise. These results demonstrate that BODE effectively reduces uncertainty and enhances predictions in data-driven models, making it a flexible approach for various applications requiring accurate predictions and robust UQ.
• Abstract（参考訳）: システム安全モデリングのようなリスクに敏感な分野における意思決定には、正確な予測と不確実性定量化(UQ)が不可欠である。 ディープアンサンブル(DE)はディープニューラルネットワーク(DNN)におけるUQの効率的かつスケーラブルな手法であるが、ランダムにサンプリングされた初期化で同一のDNNを複数回再トレーニングするだけで構築された場合、その性能は制限される。 この制限を克服するために,ベイズ最適化(BO)とBODEと呼ばれるDEを組み合わせた新しい手法を提案し,予測精度とUQを向上する。 計算流体力学(CFD)データに基づいて学習したDensely Connected Convolutional Neural Network (DCNN) のケーススタディにBODEを適用し, 高速炉熱成層モデルにおける渦粘度を予測する。 手動で調整したベースラインアンサンブルと比較して、BODEはノイズのない環境での総不確かさを4倍低く見積もっている。 具体的には、BODEはゼロに近いアレータリック不確実性を推定する一方、アレータリック不確実性はベースラインアンサンブルの総不確実性を支配している。 また, てんかん不確実性の30%以上の減少も観察した。 標準偏差5%と10%のガウスノイズがデータに導入されたとき、BODEは正確にデータに適合し、データノイズと一致する不確実性を推定する。 これらの結果は、BODEがデータ駆動モデルにおける不確実性を効果的に低減し、予測を強化し、精度の高い予測と堅牢なUQを必要とする様々なアプリケーションに対して柔軟なアプローチであることを示す。

関連論文リスト

• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Density Regression and Uncertainty Quantification with Bayesian Deep Noise Neural Networks [4.376565880192482]
  ディープニューラルネットワーク(DNN)モデルは、幅広い教師付き学習アプリケーションにおいて最先端の予測精度を達成した。 DNN予測の不確実性を正確に定量化することは、依然として難しい課題である。 本稿では,ベイジアンディープノイズニューラルネットワーク (B-DeepNoise) を提案する。ベイジアンDNNは,ランダムノイズ変数をすべての隠蔽層に拡張することにより,標準ベイジアンDNNを一般化する。 予測精度,不確実性定量化精度,不確実性定量化効率の点で優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-12T02:47:29Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications [0.0]
  このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。 一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。 ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
  論文  参考訳（メタデータ） (2021-05-25T17:54:23Z)
• Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning [25.8227937350516]
  トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。 サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。 我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
  論文  参考訳（メタデータ） (2020-07-18T21:36:31Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。