論文の概要: Efficient training of physics-informed neural networks via importance sampling

• arxiv url: http://arxiv.org/abs/2104.12325v1
• Date: Mon, 26 Apr 2021 02:45:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:19:08.815962
• Title: Efficient training of physics-informed neural networks via importance sampling
• Title（参考訳）: 重要サンプリングによる物理インフォームドニューラルネットワークの効率的なトレーニング
• Authors: Mohammad Amin Nabian, Rini Jasmine Gladstone, Hadi Meidani
• Abstract要約: Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
• 参考スコア（独自算出の注目度）: 2.9005223064604078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) are a class of deep neural networks that are trained, using automatic differentiation, to compute the response of systems governed by partial differential equations (PDEs). The training of PINNs is simulation-free, and does not require any training dataset to be obtained from numerical PDE solvers. Instead, it only requires the physical problem description, including the governing laws of physics, domain geometry, initial/boundary conditions, and the material properties. This training usually involves solving a non-convex optimization problem using variants of the stochastic gradient descent method, with the gradient of the loss function approximated on a batch of collocation points, selected randomly in each iteration according to a uniform distribution. Despite the success of PINNs in accurately solving a wide variety of PDEs, the method still requires improvements in terms of computational efficiency. To this end, in this paper, we study the performance of an importance sampling approach for efficient training of PINNs. Using numerical examples together with theoretical evidences, we show that in each training iteration, sampling the collocation points according to a distribution proportional to the loss function will improve the convergence behavior of the PINNs training. Additionally, we show that providing a piecewise constant approximation to the loss function for faster importance sampling can further improve the training efficiency. This importance sampling approach is straightforward and easy to implement in the existing PINN codes, and also does not introduce any new hyperparameter to calibrate. The numerical examples include elasticity, diffusion and plane stress problems, through which we numerically verify the accuracy and efficiency of the importance sampling approach compared to the predominant uniform sampling approach.
• Abstract（参考訳）: 物理情報ニューラルネットワーク(英: Physics-Informed Neural Networks、PINN)は、偏微分方程式(PDE)によって支配されるシステムの応答を計算するために、自動微分を用いて訓練されたディープニューラルネットワークのクラスである。 PINNのトレーニングはシミュレーション不要であり、数値PDEソルバから得られるトレーニングデータセットは不要である。 代わりに、物理法則、領域幾何学、初期/境界条件、物質的性質を含む物理的問題の記述のみを必要とする。 この訓練は通常、確率勾配勾配法の変種を用いて非凸最適化問題を解くことを含み、損失関数の勾配は、一様分布に従って各イテレーションでランダムに選択されるコロケーション点のバッチに近似される。 PINNは様々なPDEを正確に解くのに成功しているが、計算効率の面では依然として改善が必要である。 そこで,本稿では,ピンの効率的な訓練における重要サンプリング手法の性能について検討する。 数値的な例と理論的な証拠を用いて,各トレーニングイテレーションにおいて,損失関数に比例する分布に従ってコロケーション点をサンプリングすることにより,PINNのトレーニングの収束挙動が向上することを示す。 さらに,重要度サンプリングを高速化するために損失関数に分割定数近似を提供することにより,トレーニング効率がさらに向上することを示す。 この重要サンプリングアプローチは、既存のPINNコードで簡単に実装でき、また、キャリブレーションのための新しいハイパーパラメータも導入していない。 数値例として, 弾性, 拡散, 面応力問題などがあり, 従来の一様サンプリング法と比較して, 重要サンプリングアプローチの精度と効率を数値的に検証した。

関連論文リスト

• DiffGrad for Physics-Informed Neural Networks [0.0]
  バーガーズ方程式(英: Burgers' equation)は流体力学の基本方程式であり、PINNで広く用いられている。 本稿では,DiffGradをPINNに組み込むことで,バーガースの方程式を解く新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T04:39:35Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• A Novel Adaptive Causal Sampling Method for Physics-Informed Neural Networks [35.25394937917774]
  インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の解を得るための魅力的な機械学習手法である。 適応サンプリングに時間因果性を導入し,PINの性能と効率を向上させるための適応因果サンプリング手法を提案する。 本研究では, 比較的単純なサンプリング手法を用いることで, 予測性能を2桁まで向上できることを実証した。
  論文  参考訳（メタデータ） (2022-10-24T01:51:08Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Optimal Transport Based Refinement of Physics-Informed Neural Networks [0.0]
  我々は、最適輸送(OT)の概念に基づく偏微分方程式(PDE)の解法として、よく知られた物理情報ニューラルネットワーク(PINN)の改良戦略を提案する。 PINNの解法は、完全接続された病理のスペクトルバイアス、不安定な勾配、収束と精度の難しさなど、多くの問題に悩まされている。 本稿では,既存の PINN フレームワークを補完する OT-based sample を用いて,Fokker-Planck-Kolmogorov Equation (FPKE) を解くための新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-26T02:51:20Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。