論文の概要: Accelerated replica exchange stochastic gradient Langevin diffusion
enhanced Bayesian DeepONet for solving noisy parametric PDEs
- arxiv url: http://arxiv.org/abs/2111.02484v1
- Date: Wed, 3 Nov 2021 19:23:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-06 03:30:53.516852
- Title: Accelerated replica exchange stochastic gradient Langevin diffusion
enhanced Bayesian DeepONet for solving noisy parametric PDEs
- Title（参考訳）: 加速レプリカ交換確率勾配ランゲヴィン拡散強化ベイズディープONetによる雑音パラメトリックPDEの解法
- Authors: Guang Lin, Christian Moya, Zecheng Zhang
- Abstract要約: 本稿では,DeepONetsのニューラルネットワークアーキテクチャを利用したレプリカ交換型Langevin拡散のトレーニングフレームワークを提案する。
提案するフレームワークの探索と活用機能により,ノイズの多いシナリオにおけるDeepONetsのトレーニング収束性の向上が期待できることを示す。
また,レプリカ交換型Langeving Diffusionにより,雑音のシナリオにおけるDeepONetの平均予測精度も向上することを示す。
- 参考スコア（独自算出の注目度）: 7.337247167823921
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Deep Operator Networks~(DeepONet) is a fundamentally different class of
neural networks that we train to approximate nonlinear operators, including the
solution operator of parametric partial differential equations (PDE). DeepONets
have shown remarkable approximation and generalization capabilities even when
trained with relatively small datasets. However, the performance of DeepONets
deteriorates when the training data is polluted with noise, a scenario that
occurs very often in practice. To enable DeepONets training with noisy data, we
propose using the Bayesian framework of replica-exchange Langevin diffusion.
Such a framework uses two particles, one for exploring and another for
exploiting the loss function landscape of DeepONets. We show that the proposed
framework's exploration and exploitation capabilities enable (1) improved
training convergence for DeepONets in noisy scenarios and (2) attaching an
uncertainty estimate for the predicted solutions of parametric PDEs. In
addition, we show that replica-exchange Langeving Diffusion (remarkably) also
improves the DeepONet's mean prediction accuracy in noisy scenarios compared
with vanilla DeepONets trained with state-of-the-art gradient-based
optimization algorithms (e.g. Adam). To reduce the potentially high
computational cost of replica, in this work, we propose an accelerated training
framework for replica-exchange Langevin diffusion that exploits the neural
network architecture of DeepONets to reduce its computational cost up to 25%
without compromising the proposed framework's performance. Finally, we
illustrate the effectiveness of the proposed Bayesian framework using a series
of experiments on four parametric PDE problems.
- Abstract（参考訳）: Deep Operator Networks~(DeepONet)は、パラメトリック偏微分方程式(PDE)の解演算子を含む近似非線形演算子に訓練するニューラルネットワークの基本的なクラスである。
DeepONetsは、比較的小さなデータセットでトレーニングしても、顕著な近似と一般化能力を示している。
しかしながら、トレーニングデータがノイズで汚染されると、deeponetsのパフォーマンスが低下する。
ノイズデータを用いたdeeponetsトレーニングを実現するために,レプリカ交換ランジュバン拡散のベイズフレームワークを提案する。
このようなフレームワークは2つの粒子を使い、1つは探索用、もう1つはDeepONetsの損失関数のランドスケープを利用する。
提案手法は,(1)雑音シナリオにおけるDeepONetsのトレーニングコンバージェンスの改善,(2)パラメトリックPDEの予測解に対する不確実性推定を行うことを可能にした。
さらに、レプリカ交換のLangeving Diffusionは、最先端の勾配に基づく最適化アルゴリズム(例えばAdam)で訓練されたバニラDeepONetsと比較して、ノイズの多いシナリオにおけるDeepONetの平均予測精度も向上することを示した。
本研究では、複製の潜在的に高い計算コストを削減するために、DeepONetsのニューラルネットワークアーキテクチャを利用して、提案するフレームワークの性能を損なうことなく、その計算コストを25%まで削減するレプリカ交換ランゲヴィン拡散の高速化トレーニングフレームワークを提案する。
最後に,4つのパラメトリックpde問題に対する一連の実験を用いて,提案手法の有効性を示す。
関連論文リスト
- Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。
これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。
本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:18:30Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Reliable extrapolation of deep neural operators informed by physics or
sparse observations [2.887258133992338]
ディープニューラルネットワークは、ディープニューラルネットワークを介して無限次元関数空間間の非線形マッピングを学習することができる。
DeepONetsは科学と工学の新しいシミュレーションパラダイムを提供する。
本稿では,外挿下での安全な予測を保証する5つの信頼性学習手法を提案する。
論文 参考訳（メタデータ） (2022-12-13T03:02:46Z) - Semi-supervised Invertible DeepONets for Bayesian Inverse Problems [8.594140167290098]
DeepONetsは、学習オペレーターによってパラメトリックPDEを解決する強力なデータ駆動ツールを提供する。
本研究では,高次元ベイズ逆問題(Bayesian inverse problem)の文脈で物理インフォームド・ディープノネット(DeepONets)を用いる。
論文 参考訳（メタデータ） (2022-09-06T18:55:06Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳（メタデータ） (2022-08-02T18:27:13Z) - Variational Bayes Deep Operator Network: A data-driven Bayesian solver
for parametric differential equations [0.0]
演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。
VB-DeepONetは、高次元後部分布を考慮した変分推論を用いる。
論文 参考訳（メタデータ） (2022-06-12T04:20:11Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Improved architectures and training algorithms for deep operator
networks [0.0]
演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。
我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
論文 参考訳（メタデータ） (2021-10-04T18:34:41Z) - Physics-aware deep neural networks for surrogate modeling of turbulent
natural convection [0.0]
Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。
標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。
50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
論文 参考訳（メタデータ） (2021-03-05T09:48:57Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳（メタデータ） (2020-02-12T18:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。