論文の概要: Variational Bayes Deep Operator Network: A data-driven Bayesian solver
for parametric differential equations
- arxiv url: http://arxiv.org/abs/2206.05655v1
- Date: Sun, 12 Jun 2022 04:20:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 13:52:53.219377
- Title: Variational Bayes Deep Operator Network: A data-driven Bayesian solver
for parametric differential equations
- Title（参考訳）: 変分ベイズディープ演算子ネットワーク:パラメトリック微分方程式に対するデータ駆動ベイズ解法
- Authors: Shailesh Garg and Souvik Chakraborty
- Abstract要約: 演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。
VB-DeepONetは、高次元後部分布を考慮した変分推論を用いる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural network based data-driven operator learning schemes have shown
tremendous potential in computational mechanics. DeepONet is one such neural
network architecture which has gained widespread appreciation owing to its
excellent prediction capabilities. Having said that, being set in a
deterministic framework exposes DeepONet architecture to the risk of
overfitting, poor generalization and in its unaltered form, it is incapable of
quantifying the uncertainties associated with its predictions. We propose in
this paper, a Variational Bayes DeepONet (VB-DeepONet) for operator learning,
which can alleviate these limitations of DeepONet architecture to a great
extent and give user additional information regarding the associated
uncertainty at the prediction stage. The key idea behind neural networks set in
Bayesian framework is that, the weights and bias of the neural network are
treated as probability distributions instead of point estimates and, Bayesian
inference is used to update their prior distribution. Now, to manage the
computational cost associated with approximating the posterior distribution,
the proposed VB-DeepONet uses \textit{variational inference}. Unlike Markov
Chain Monte Carlo schemes, variational inference has the capacity to take into
account high dimensional posterior distributions while keeping the associated
computational cost low. Different examples covering mechanics problems like
diffusion reaction, gravity pendulum, advection diffusion have been shown to
illustrate the performance of the proposed VB-DeepONet and comparisons have
also been drawn against DeepONet set in deterministic framework.
- Abstract（参考訳）: ニューラルネットワークベースのデータ駆動演算子学習スキームは、計算力学において大きな可能性を示している。
deeponetはそのようなニューラルネットワークアーキテクチャの1つで、優れた予測能力によって広く評価されている。
決定論的なフレームワークに設定されていると、過度に適合するリスク、一般化の貧弱なリスク、そしてその不変な形式によって、その予測に関連する不確実性が定量化できない、ということになる。
本稿では,演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。
ベイジアンフレームワークで設定されたニューラルネットワークの背景にある重要な考え方は、ニューラルネットワークの重みとバイアスが点推定ではなく確率分布として扱われ、ベイジアン推論が以前の分布を更新するために使用されることである。
さて、後方分布を近似する計算コストを管理するために、提案されているvb-deeponetは \textit{variational inference} を用いる。
マルコフ連鎖モンテカルロスキームとは異なり、変分推論は計算コストを低く保ちながら高次元の後方分布を考慮に入れることができる。
拡散反応, 重力振子, 対流拡散などの力学問題に関して, 提案したVB-DeepONetの性能を示す様々な例が示されており, 決定論的な枠組みによるDeepONet集合との比較も行われている。
関連論文リスト
- Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification [0.0]
一般化変分推論(GVI)を組み込んだ新しいディープオペレータネットワーク(DeepONet)を提案する。
分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。
変動目的関数の修正は平均二乗誤差を最小化する点で優れた結果をもたらすことを示す。
論文 参考訳（メタデータ） (2024-08-01T16:22:03Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Calibration and Uncertainty Quantification of Bayesian Convolutional
Neural Networks for Geophysical Applications [0.0]
このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。
一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。
ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
論文 参考訳（メタデータ） (2021-05-25T17:54:23Z) - Probabilistic electric load forecasting through Bayesian Mixture Density
Networks [70.50488907591463]
確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。
ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。
後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
論文 参考訳（メタデータ） (2020-12-23T16:21:34Z) - Efficient Variational Inference for Sparse Deep Learning with
Theoretical Guarantee [20.294908538266867]
スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。
本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。
我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
論文 参考訳（メタデータ） (2020-11-15T03:27:54Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Depth Uncertainty in Neural Networks [2.6763498831034043]
ディープラーニングにおける不確実性を推定する既存の方法は、複数の前方パスを必要とする傾向がある。
フィードフォワードネットワークのシーケンシャルな構造を利用することで、トレーニング目標を評価し、単一のフォワードパスで予測を行うことができる。
実世界の回帰と画像分類タスクに対する我々のアプローチを検証する。
論文 参考訳（メタデータ） (2020-06-15T14:33:40Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。