論文の概要: Accelerated Training of Physics Informed Neural Networks (PINNs) using Meshless Discretizations

• arxiv url: http://arxiv.org/abs/2205.09332v1
• Date: Thu, 19 May 2022 06:07:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 13:52:29.702739
• Title: Accelerated Training of Physics Informed Neural Networks (PINNs) using Meshless Discretizations
• Title（参考訳）: メッシュレス離散化を用いた物理学インフォームドニューラルネットワーク(pinns)の高速化
• Authors: Ramansh Sharma, Varun Shankar
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)の高速化学習のための新しい手法を提案する。 DT-PINNでは、GPU上でfp64を使用すると、同等の精度でfp32バニラ-PINNよりもトレーニング時間が大幅に短縮されることを示す。 以上の結果から,fp64 DT-PINNは,fp32バニラ-PINNよりもコスト精度が高いことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new technique for the accelerated training of physics-informed neural networks (PINNs): discretely-trained PINNs (DT-PINNs). The repeated computation of partial derivative terms in the PINN loss functions via automatic differentiation during training is known to be computationally expensive, especially for higher-order derivatives. DT-PINNs are trained by replacing these exact spatial derivatives with high-order accurate numerical discretizations computed using meshless radial basis function-finite differences (RBF-FD) and applied via sparse-matrix vector multiplication. The use of RBF-FD allows for DT-PINNs to be trained even on point cloud samples placed on irregular domain geometries. Additionally, though traditional PINNs (vanilla-PINNs) are typically stored and trained in 32-bit floating-point (fp32) on the GPU, we show that for DT-PINNs, using fp64 on the GPU leads to significantly faster training times than fp32 vanilla-PINNs with comparable accuracy. We demonstrate the efficiency and accuracy of DT-PINNs via a series of experiments. First, we explore the effect of network depth on both numerical and automatic differentiation of a neural network with random weights and show that RBF-FD approximations of third-order accuracy and above are more efficient while being sufficiently accurate. We then compare the DT-PINNs to vanilla-PINNs on both linear and nonlinear Poisson equations and show that DT-PINNs achieve similar losses with 2-4x faster training times on a consumer GPU. Finally, we also demonstrate that similar results can be obtained for the PINN solution to the heat equation (a space-time problem) by discretizing the spatial derivatives using RBF-FD and using automatic differentiation for the temporal derivative. Our results show that fp64 DT-PINNs offer a superior cost-accuracy profile to fp32 vanilla-PINNs.
• Abstract（参考訳）: 本稿では,物理形ニューラルネットワーク(pinns)の高速化のための新しい手法である離散学習ピン(dt-pinns)を提案する。 トレーニング中の自動微分によるPINN損失関数の部分微分項の繰り返し計算は、特に高階微分の場合、計算コストが高いことが知られている。 DT-PINNは、これらの正確な空間微分を、メッシュレスラジアル基底関数有限差分(RBF-FD)を用いて計算し、スパース行列ベクトル乗法により適用する高次精度数値離散化に置き換えることによって訓練される。 RBF-FDを使用することで、DT-PINNは不規則な領域に配置された点雲のサンプルでも訓練することができる。 さらに、従来のPINN(バニラ-PINN)は、通常、GPU上の32ビット浮動小数点(fp32)に保存されてトレーニングされるが、DT-PINNでは、GPU上でfp64を使用することで、同等の精度でfp32バニラ-PINNよりもトレーニング時間が大幅に短縮されることを示す。 DT-PINNの効率と精度を一連の実験により示す。 まず、ランダムな重み付きニューラルネットワークの数値的および自動微分に対するネットワーク深さの影響について検討し、RBF-FD近似の3次精度以上は十分正確でありながらより効率的であることを示す。 次に、DT-PINNを非線形ポアソン方程式および非線形ポアソン方程式のバニラ-PINNと比較し、DT-PINNが2-4倍高速なトレーニング時間で同様の損失を得ることを示す。 最後に, rbf-fd を用いて空間微分を離散化し, 時間微分の自動微分を用いて熱方程式(時空間問題)に対する pinn 溶液に対して同様の結果が得られることを示す。 以上の結果から,fp64 DT-PINNは,fp32バニラ-PINNよりもコスト精度が高いことがわかった。

関連論文リスト

• Domain-decoupled Physics-informed Neural Networks with Closed-form Gradients for Fast Model Learning of Dynamical Systems [2.8730926763860687]
  物理インフォームドニューラルネットワーク(PINN)は、物理方程式を用いて訓練され、データから学習することで、モデル化されていない効果を組み込むことができる。 本稿では、大規模で複雑な非線形力学系を扱う場合のPINCの現在の限界に対処するために、ドメイン分離された物理情報ニューラルネットワーク(DD-PINN)を導入する。
  論文  参考訳（メタデータ） (2024-08-27T10:54:51Z)
• A Blueprint for Precise and Fault-Tolerant Analog Neural Networks [1.6039298125810306]
  高精度データ変換器は、ディープニューラルネットワークには費用がかかり実用的ではない。 残基数システム(RNS)を用いてこの問題に対処する。 RNSは複数の低精度操作から高精度操作を構成することができる。
  論文  参考訳（メタデータ） (2023-09-19T17:00:34Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• FO-PINNs: A First-Order formulation for Physics Informed Neural Networks [1.8874301050354767]
  物理インフォームドニューラルネットワーク(英: Physics-Informed Neural Networks、PINN)は、物理システムの応答をシミュレーションデータなしで学習するディープラーニングニューラルネットワークのクラスである。 PINNは前方および逆問題の解決に有効であるが、パラメータ化システムでは精度が大幅に低下する。 PDE損失関数の1次定式化を用いてトレーニングした1次物理学情報ニューラルネットワーク(FO-PINN)を提案する。
  論文  参考訳（メタデータ） (2022-10-25T20:25:33Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• CAN-PINN: A Fast Physics-Informed Neural Network Based on Coupled-Automatic-Numerical Differentiation Method [17.04611875126544]
  テイラー級数展開による隣り合う支持点と自動微分(AD)を結合する新しい物理情報ニューラルネットワーク(PINN)法を提案する。 can-PINNとラベル付けされた結合型自動数値微分フレームワークは、ADとNDの利点を統一し、ADベースのPINNよりも堅牢で効率的なトレーニングを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:52:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。