論文の概要: Efficient training of physics-informed neural networks via importance
sampling
- arxiv url: http://arxiv.org/abs/2104.12325v1
- Date: Mon, 26 Apr 2021 02:45:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 14:19:08.815962
- Title: Efficient training of physics-informed neural networks via importance
sampling
- Title(参考訳): 重要サンプリングによる物理インフォームドニューラルネットワークの効率的なトレーニング
- Authors: Mohammad Amin Nabian, Rini Jasmine Gladstone, Hadi Meidani
- Abstract要約: Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。
重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
- 参考スコア(独自算出の注目度): 2.9005223064604078
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-Informed Neural Networks (PINNs) are a class of deep neural networks
that are trained, using automatic differentiation, to compute the response of
systems governed by partial differential equations (PDEs). The training of
PINNs is simulation-free, and does not require any training dataset to be
obtained from numerical PDE solvers. Instead, it only requires the physical
problem description, including the governing laws of physics, domain geometry,
initial/boundary conditions, and the material properties. This training usually
involves solving a non-convex optimization problem using variants of the
stochastic gradient descent method, with the gradient of the loss function
approximated on a batch of collocation points, selected randomly in each
iteration according to a uniform distribution. Despite the success of PINNs in
accurately solving a wide variety of PDEs, the method still requires
improvements in terms of computational efficiency. To this end, in this paper,
we study the performance of an importance sampling approach for efficient
training of PINNs. Using numerical examples together with theoretical
evidences, we show that in each training iteration, sampling the collocation
points according to a distribution proportional to the loss function will
improve the convergence behavior of the PINNs training. Additionally, we show
that providing a piecewise constant approximation to the loss function for
faster importance sampling can further improve the training efficiency. This
importance sampling approach is straightforward and easy to implement in the
existing PINN codes, and also does not introduce any new hyperparameter to
calibrate. The numerical examples include elasticity, diffusion and plane
stress problems, through which we numerically verify the accuracy and
efficiency of the importance sampling approach compared to the predominant
uniform sampling approach.
- Abstract(参考訳): 物理情報ニューラルネットワーク(英: Physics-Informed Neural Networks、PINN)は、偏微分方程式(PDE)によって支配されるシステムの応答を計算するために、自動微分を用いて訓練されたディープニューラルネットワークのクラスである。
PINNのトレーニングはシミュレーション不要であり、数値PDEソルバから得られるトレーニングデータセットは不要である。
代わりに、物理法則、領域幾何学、初期/境界条件、物質的性質を含む物理的問題の記述のみを必要とする。
この訓練は通常、確率勾配勾配法の変種を用いて非凸最適化問題を解くことを含み、損失関数の勾配は、一様分布に従って各イテレーションでランダムに選択されるコロケーション点のバッチに近似される。
PINNは様々なPDEを正確に解くのに成功しているが、計算効率の面では依然として改善が必要である。
そこで,本稿では,ピンの効率的な訓練における重要サンプリング手法の性能について検討する。
数値的な例と理論的な証拠を用いて,各トレーニングイテレーションにおいて,損失関数に比例する分布に従ってコロケーション点をサンプリングすることにより,PINNのトレーニングの収束挙動が向上することを示す。
さらに,重要度サンプリングを高速化するために損失関数に分割定数近似を提供することにより,トレーニング効率がさらに向上することを示す。
この重要サンプリングアプローチは、既存のPINNコードで簡単に実装でき、また、キャリブレーションのための新しいハイパーパラメータも導入していない。
数値例として, 弾性, 拡散, 面応力問題などがあり, 従来の一様サンプリング法と比較して, 重要サンプリングアプローチの精度と効率を数値的に検証した。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - A Novel Adaptive Causal Sampling Method for Physics-Informed Neural
Networks [35.25394937917774]
インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の解を得るための魅力的な機械学習手法である。
適応サンプリングに時間因果性を導入し,PINの性能と効率を向上させるための適応因果サンプリング手法を提案する。
本研究では, 比較的単純なサンプリング手法を用いることで, 予測性能を2桁まで向上できることを実証した。
論文 参考訳(メタデータ) (2022-10-24T01:51:08Z) - Green, Quantized Federated Learning over Wireless Networks: An
Energy-Efficient Design [68.86220939532373]
有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。
提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
論文 参考訳(メタデータ) (2022-07-19T16:37:24Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳(メタデータ) (2022-07-08T18:17:06Z) - Improved Training of Physics-Informed Neural Networks with Model
Ensembles [81.38804205212425]
我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。
すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。
提案手法は, 得られた解の精度を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-04-11T14:05:34Z) - Optimal Transport Based Refinement of Physics-Informed Neural Networks [0.0]
我々は、最適輸送(OT)の概念に基づく偏微分方程式(PDE)の解法として、よく知られた物理情報ニューラルネットワーク(PINN)の改良戦略を提案する。
PINNの解法は、完全接続された病理のスペクトルバイアス、不安定な勾配、収束と精度の難しさなど、多くの問題に悩まされている。
本稿では,既存の PINN フレームワークを補完する OT-based sample を用いて,Fokker-Planck-Kolmogorov Equation (FPKE) を解くための新しいトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2021-05-26T02:51:20Z) - Physics-Informed Neural Network Method for Solving One-Dimensional
Advection Equation Using PyTorch [0.0]
PINNのアプローチは、最適化の強い制約としてPDEを尊重しながらニューラルネットワークのトレーニングを可能にします。
標準的な小規模循環シミュレーションでは、従来のアプローチは乱流拡散モデルの効果とほぼ同じ大きさの擬似拡散効果を組み込むことが示されている。
テストされた全てのスキームのうち、ピンズ近似のみが結果を正確に予測した。
論文 参考訳(メタデータ) (2021-03-15T05:39:17Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。