論文の概要: Improvement of Bayesian PINN Training Convergence in Solving Multi-scale PDEs with Noise

• arxiv url: http://arxiv.org/abs/2408.09340v1
• Date: Sun, 18 Aug 2024 03:20:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 21:09:49.066879
• Title: Improvement of Bayesian PINN Training Convergence in Solving Multi-scale PDEs with Noise
• Title（参考訳）: マルチスケールPDEの雑音分解におけるベイジアンPINNトレーニング収束性の改善
• Authors: Yilong Hou, Xi'an Li, Jinran Wu,
• Abstract要約: 実際には、ハミルトン・モンテカルロ (HMC) はBPINNの内部パラメータを推定するのによく使われ、しばしばトラブルに遭遇する。 マルチスケールニューラルネットワーク (MscaleDNN) とベイズ推論を統合することで, 堅牢なマルチスケールベイズPINN (dubed MBPINN) 法を開発した。 その結果,提案手法はHMCの故障を回避し,有効な結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 34.11898314129823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Physics Informed Neural Networks (BPINN) have received considerable attention for inferring differential equations' system states and physical parameters according to noisy observations. However, in practice, Hamiltonian Monte Carlo (HMC) used to estimate the internal parameters of BPINN often encounters troubles, including poor performance and awful convergence for a given step size used to adjust the momentum of those parameters. To improve the efficacy of HMC convergence for the BPINN method and extend its application scope to multi-scale partial differential equations (PDE), we developed a robust multi-scale Bayesian PINN (dubbed MBPINN) method by integrating multi-scale deep neural networks (MscaleDNN) and Bayesian inference. In this newly proposed MBPINN method, we reframe HMC with Stochastic Gradient Descent (SGD) to ensure the most ``likely'' estimation is always provided, and we configure its solver as a Fourier feature mapping-induced MscaleDNN. The MBPINN method offers several key advantages: (1) it is more robust than HMC, (2) it incurs less computational cost than HMC, and (3) it is more flexible for complex problems. We demonstrate the applicability and performance of the proposed method through general Poisson and multi-scale elliptic problems in one- to three-dimensional spaces. Our findings indicate that the proposed method can avoid HMC failures and provide valid results. Additionally, our method can handle complex PDE and produce comparable results for general PDE. These findings suggest that our proposed approach has excellent potential for physics-informed machine learning for parameter estimation and solution recovery in the case of ill-posed problems.
• Abstract（参考訳）: ベイズ物理学Informed Neural Networks (BPINN) は、雑音観測に基づいて微分方程式の系状態と物理パラメータを推定するためにかなりの注意を払っている。 しかし、実際には、ハミルトン・モンテカルロ (HMC) は、BPINNの内部パラメータを推定するのによく使われており、そのパラメータの運動量を調整するために使用される所定のステップサイズに対して、性能の低下やひどい収束などの問題に直面している。 BPINN法におけるHMC収束の有効性を向上し,その適用範囲を多スケール偏微分方程式(PDE)に拡張するために,マルチスケールディープニューラルネットワーク(MscaleDNN)とベイズ推論を統合することで,頑健なマルチスケールベイズ PINN (dubed MBPINN) 法を開発した。 新たに提案したMBPINN法では,HMCをStochastic Gradient Descent (SGD) で再構成し,最も `likely' な推定が常に可能であることを保証し,その解法をフーリエ特徴マッピングによるMscaleDNNとして構成する。 MBPINN法は,1)HMCよりも頑健であり,(2)HMCよりも計算コストが低く,(3)複雑な問題に対して柔軟である。 本稿では,1次元から3次元の空間における一般ポアソン問題と多スケール楕円問題による提案手法の適用性と性能について述べる。 その結果,提案手法はHMCの故障を回避し,有効な結果が得られることがわかった。 さらに,本手法は複雑なPDEを処理し,一般PDEに匹敵する結果が得られる。 これらの結果から,提案手法は,パラメータ推定や解の回復に物理インフォームド・機械学習が有効である可能性が示唆された。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Randomized Physics-Informed Neural Networks for Bayesian Data Assimilation [44.99833362998488]
  雑音データを用いた逆偏微分方程式(PDE)問題における不確実性定量化のためのランダム化物理情報ニューラルネットワーク(PINN)またはrPINN法を提案する。 線形ポアソン方程式の場合、HMC と rPINN は同様の分布を生成するが、rPINN は HMC の27倍高速である。 非線型ポゾンおよび拡散方程式では、単一のHMC鎖がPINNパラメータの後方分布の複数のモードを合理的な時間でサンプリングできないため、HMC法は収束しない。
  論文  参考訳（メタデータ） (2024-07-05T16:16:47Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Efficient Bayesian Physics Informed Neural Networks for Inverse Problems via Ensemble Kalman Inversion [0.0]
  本稿では,高次元推論タスクにEnsemble Kalman Inversion (EKI) を用いるB-PINNの新しい効率的な推論アルゴリズムを提案する。 提案手法は,ハミルトン・モンテカルロ (HMC) ベースのB-PINNに匹敵する情報的不確実性を推定し,計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2023-03-13T18:15:26Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Bayesian deep learning framework for uncertainty quantification in high dimensions [6.282068591820945]
  我々はベイズニューラルネットワーク(BNN)とハミルトンモンテカルロ(HMC)に基づく偏微分方程式の不確実性定量化のための新しい深層学習法を開発した。 BNNは、ネットワークパラメータに対してベイズ推論を行うことにより、ディープニューラルネットワークにおけるパラメータの後方分布を効率的に学習する。 後部分布は、HMCを用いて効率よくサンプリングされ、システムの不確かさを定量化する。
  論文  参考訳（メタデータ） (2022-10-21T05:20:06Z)
• MRF-PINN: A Multi-Receptive-Field convolutional physics-informed neural network for solving partial differential equations [6.285167805465505]
  物理インフォームドニューラルネットワーク(PINN)は、従来の偏微分方程式(PDE)の解法よりも開発コストと解決コストを低減できる。 パラメータ共有、空間的特徴抽出、低推論コストの利点により、畳み込みニューラルネットワーク(CNN)はPINNでますます利用されている。
  論文  参考訳（メタデータ） (2022-09-06T12:26:22Z)
• Monte Carlo PINNs: deep learning approach for forward and inverse problems involving high dimensional fractional partial differential equations [8.378422134042722]
  我々は、サンプリングに基づく機械学習アプローチ、モンテカルロ物理情報ニューラルネットワーク(MC-PINN)を導入し、前方および逆分数偏微分方程式(FPDE)を解く。 物理情報ニューラルネットワーク(PINN)の一般化として,提案手法は,出力の分数微分を計算するための近似戦略に加えて,ディープニューラルネットワークサロゲートに依存する。 我々は,高次元積分分数ラプラシア方程式,時間空間分数PDEのパラメトリック同定,ランダムな入力を伴う分数拡散方程式などの例を用いて,MC-PINNの性能を検証する。
  論文  参考訳（メタデータ） (2022-03-16T09:52:05Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。