論文の概要: Bias-Variance Trade-off in Physics-Informed Neural Networks with Randomized Smoothing for High-Dimensional PDEs

• arxiv url: http://arxiv.org/abs/2311.15283v1
• Date: Sun, 26 Nov 2023 12:50:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 18:35:11.582800
• Title: Bias-Variance Trade-off in Physics-Informed Neural Networks with Randomized Smoothing for High-Dimensional PDEs
• Title（参考訳）: 高次元pdesのためのランダム化平滑化を用いた物理形ニューラルネットワークのバイアス分散トレードオフ
• Authors: Zheyuan Hu, Zhouhao Yang, Yezhen Wang, George Em Karniadakis, Kenji Kawaguchi
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は低次元偏微分方程式(PDE)に有効であることが証明されている。 RS-PINNにおけるバイアスの包括的解析は,平均二乗誤差(MSE)損失とPDE非線形性の非線形性に起因する。 PDE非線形性の順序に基づく補正バイアス補正手法を提案する。
• 参考スコア（独自算出の注目度）: 29.38656057181734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While physics-informed neural networks (PINNs) have been proven effective for low-dimensional partial differential equations (PDEs), the computational cost remains a hurdle in high-dimensional scenarios. This is particularly pronounced when computing high-order and high-dimensional derivatives in the physics-informed loss. Randomized Smoothing PINN (RS-PINN) introduces Gaussian noise for stochastic smoothing of the original neural net model, enabling Monte Carlo methods for derivative approximation, eliminating the need for costly auto-differentiation. Despite its computational efficiency in high dimensions, RS-PINN introduces biases in both loss and gradients, negatively impacting convergence, especially when coupled with stochastic gradient descent (SGD). We present a comprehensive analysis of biases in RS-PINN, attributing them to the nonlinearity of the Mean Squared Error (MSE) loss and the PDE nonlinearity. We propose tailored bias correction techniques based on the order of PDE nonlinearity. The unbiased RS-PINN allows for a detailed examination of its pros and cons compared to the biased version. Specifically, the biased version has a lower variance and runs faster than the unbiased version, but it is less accurate due to the bias. To optimize the bias-variance trade-off, we combine the two approaches in a hybrid method that balances the rapid convergence of the biased version with the high accuracy of the unbiased version. In addition, we present an enhanced implementation of RS-PINN. Extensive experiments on diverse high-dimensional PDEs, including Fokker-Planck, HJB, viscous Burgers', Allen-Cahn, and Sine-Gordon equations, illustrate the bias-variance trade-off and highlight the effectiveness of the hybrid RS-PINN. Empirical guidelines are provided for selecting biased, unbiased, or hybrid versions, depending on the dimensionality and nonlinearity of the specific PDE problem.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は低次元偏微分方程式(PDE)に有効であることが証明されているが、高次元シナリオでは計算コストがハードルとなっている。 これは物理学的インフォームド損失における高次微分と高次元微分の計算において特に顕著である。 Randomized Smoothing PINN (RS-PINN) は、元のニューラルネットモデルの確率的滑らか化のためのガウスノイズを導入し、微分近似のためのモンテカルロ法を可能にし、コストのかかる自動微分の必要性を排除した。 高次元での計算効率にもかかわらず、RS-PINNは損失と勾配の両方にバイアスを導入し、特に確率勾配降下(SGD)と組み合わせると、収束に悪影響を及ぼす。 RS-PINNにおけるバイアスの包括的解析は,平均二乗誤差(MSE)損失とPDE非線形性の非線形性に起因する。 PDE非線形性の順序に基づく補正バイアス補正手法を提案する。 RS-PINNはバイアスのないバージョンと比較して、その長所と短所を詳細に調べることができる。 具体的には、偏りのあるバージョンは分散が低く、偏りのないバージョンよりも速く走るが、偏りのため正確ではない。 バイアス分散のトレードオフを最適化するために,バイアス分散モデルの高速収束と非バイアスバージョンの高精度を両立するハイブリッド手法における2つのアプローチを組み合わせる。 また,RS-PINNの実装も強化した。 fokker-planck, hjb, viscous burgers', allen-cahn, sine-gordon等を含む多種多様な高次元pdesに関する広範な実験はバイアス分散トレードオフを示し、ハイブリッドrs-pinnの有効性を強調している。 特定のPDE問題の寸法や非線形性に応じてバイアス付き、バイアスなし、ハイブリッド版を選択するための実証的ガイドラインが提供される。

関連論文リスト

• UGrid: An Efficient-And-Rigorous Neural Multigrid Solver for Linear PDEs [18.532617548168123]
  本稿では,線形PDEに対する数学的に厳密なニューラルソルバについて述べる。 U-NetとMultiGridを原理的に統合したUGridソルバは、収束性と正確性の両方の数学的に厳密な証明である。
  論文  参考訳（メタデータ） (2024-08-09T03:46:35Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• An Extreme Learning Machine-Based Method for Computational PDEs in Higher Dimensions [1.2981626828414923]
  本稿では,確率型ニューラルネットワークに基づく高次元偏微分方程式(PDE)の解法について述べる。 本稿では,高次元線形・非線形定常・動的PDEの数値シミュレーションを行い,その性能を実証する。
  論文  参考訳（メタデータ） (2023-09-13T15:59:02Z)
• PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers [40.097474800631]
  時間依存偏微分方程式(PDE)は、科学や工学においてユビキタスである。 ディープニューラルネットワークに基づくサロゲートへの関心が高まっている。
  論文  参考訳（メタデータ） (2023-08-10T17:53:05Z)
• PDE+: Enhancing Generalization via PDE with Adaptive Distributional Diffusion [66.95761172711073]
  ニューラルネットワークの一般化は、機械学習における中心的な課題です。 本稿では、入力データを調整することに集中するのではなく、ニューラルネットワークの基盤機能を直接拡張することを提案する。 私たちはこの理論的フレームワークを、$textbfPDE+$$textbfPDE$ with $textbfA$daptive $textbfD$istributional $textbfD$iffusionとして実践しました。
  論文  参考訳（メタデータ） (2023-05-25T08:23:26Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Parsimonious Physics-Informed Random Projection Neural Networks for Initial-Value Problems of ODEs and index-1 DAEs [0.0]
  非線形ODEのIDPの線形単純形式とインデックス-1DAEの数値解に対するランダムな投影に基づく物理インフォームニューラルネットワークに対処する。 従来のランダムなプロジェクションに関する研究に基づいて、正準形式におけるODEのスキームと半明示形式におけるインデックス-1DAEの近似能力を証明した。
  論文  参考訳（メタデータ） (2022-03-10T12:34:46Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Implicit Bias of MSE Gradient Optimization in Underparameterized Neural Networks [0.0]
  勾配流による平均二乗誤差の最適化において,関数空間におけるニューラルネットワークのダイナミクスについて検討する。 ニューラルタンジェントカーネル(NTK)により決定された積分作用素$T_Kinfty$の固有関数をネットワークが学習することを示す。 減衰偏差は2乗誤差を最適化する際の力学の単純かつ統一的な視点を与えると結論付けている。
  論文  参考訳（メタデータ） (2022-01-12T23:28:41Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。