論文の概要: Quantifying Training Difficulty and Accelerating Convergence in Neural Network-Based PDE Solvers
- arxiv url: http://arxiv.org/abs/2410.06308v1
- Date: Tue, 8 Oct 2024 19:35:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 06:29:16.969575
- Title: Quantifying Training Difficulty and Accelerating Convergence in Neural Network-Based PDE Solvers
- Title（参考訳）: ニューラルネットワークに基づくPDE解法における学習困難度と加速収束度の定量化
- Authors: Chuqi Chen, Qixuan Zhou, Yahong Yang, Yang Xiang, Tao Luo,
- Abstract要約: ニューラルネットワークに基づくPDEソルバのトレーニングダイナミクスについて検討する。
統一分割(PoU)と分散スケーリング(VS)という2つの手法が有効ランクを高めていることがわかった。
PINNやDeep Ritz、オペレータ学習フレームワークのDeepOnetなど、人気のあるPDE解決フレームワークを使用した実験では、これらのテクニックが収束を継続的に加速することを確認した。
- 参考スコア（独自算出の注目度）: 9.936559796069844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network-based methods have emerged as powerful tools for solving partial differential equations (PDEs) in scientific and engineering applications, particularly when handling complex domains or incorporating empirical data. These methods leverage neural networks as basis functions to approximate PDE solutions. However, training such networks can be challenging, often resulting in limited accuracy. In this paper, we investigate the training dynamics of neural network-based PDE solvers with a focus on the impact of initialization techniques. We assess training difficulty by analyzing the eigenvalue distribution of the kernel and apply the concept of effective rank to quantify this difficulty, where a larger effective rank correlates with faster convergence of the training error. Building upon this, we discover through theoretical analysis and numerical experiments that two initialization techniques, partition of unity (PoU) and variance scaling (VS), enhance the effective rank, thereby accelerating the convergence of training error. Furthermore, comprehensive experiments using popular PDE-solving frameworks, such as PINN, Deep Ritz, and the operator learning framework DeepOnet, confirm that these initialization techniques consistently speed up convergence, in line with our theoretical findings.
- Abstract（参考訳）: ニューラルネットワークベースの手法は、科学や工学の応用、特に複雑なドメインの処理や経験的データの導入において、偏微分方程式(PDE)を解く強力なツールとして登場した。
これらの手法は、ニューラルネットワークを基底関数として利用し、PDE解を近似する。
しかし、そのようなネットワークのトレーニングは困難であり、しばしば精度が制限される。
本稿では,ニューラルネットワークを用いたPDEソルバのトレーニングダイナミクスについて検討し,初期化手法の影響に着目した。
本稿では,カーネルの固有値分布を解析してトレーニングの難しさを評価し,この難易度を定量化するために有効なランクの概念を適用した。
これに基づいて、理論解析と数値実験により、ユニタリ分割(PoU)と分散スケーリング(VS)の2つの初期化手法が有効ランクを高め、トレーニングエラーの収束を加速することを発見した。
さらに、PINN、Deep Ritz、および演算子学習フレームワークDeepOnetといった人気のあるPDE解決フレームワークを用いた総合的な実験により、これらの初期化手法が、理論的な結果に従って収束を継続的に加速することを確認する。
関連論文リスト
- Improving PINNs By Algebraic Inclusion of Boundary and Initial Conditions [0.1874930567916036]
AI for Science」は、AI技術を用いた基本的な科学的問題を解決することを目的としている。
本研究では、トレーニング対象のモデルを単にニューラルネットワークから非線形変換に変更する可能性について検討する。
これにより、損失関数の項数は標準のPINN損失よりも減少する。
論文 参考訳（メタデータ） (2024-07-30T11:19:48Z) - VS-PINN: A fast and efficient training of physics-informed neural networks using variable-scaling methods for solving PDEs with stiff behavior [0.0]
本稿では,変数スケーリング手法を用いたPINNのトレーニング手法を提案する。
提案手法の有効性を実証し,PINNのトレーニング効率と性能を大幅に向上させることができることを確認した。
論文 参考訳（メタデータ） (2024-06-10T14:11:15Z) - Efficient Neural PDE-Solvers using Quantization Aware Training [71.0934372968972]
量子化は、性能を維持しながら推論の計算コストを下げることができることを示す。
4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。
論文 参考訳（メタデータ） (2023-08-14T09:21:19Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach [10.250994619846416]
段階的強化(GB)と呼ばれる新しい訓練パラダイムを提案する。
与えられたPDEの解を1つのニューラルネットワークで直接学習する代わりに、我々のアルゴリズムは、より優れた結果を得るために、一連のニューラルネットワークを用いています。
この研究は、PINNでアンサンブル学習技術を採用するための扉も開ける。
論文 参考訳（メタデータ） (2023-02-25T19:11:44Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳（メタデータ） (2022-10-14T15:01:32Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳（メタデータ） (2022-08-02T18:27:13Z) - Multi-resolution partial differential equations preserved learning
framework for spatiotemporal dynamics [11.981731023317945]
物理インフォームドディープラーニング(PiDL)は、物理原理をモデルに組み込むことによって、これらの課題に対処する。
我々は、ニューラルネットワークアーキテクチャに離散化された支配方程式を焼いて、物理の事前知識を活用することを提案する。
離散化されたPDEを畳み込み残差ネットワークを介して多分解能設定に埋め込むことにより、一般化可能性と長期予測を大幅に改善する。
論文 参考訳（メタデータ） (2022-05-09T01:27:58Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳（メタデータ） (2022-02-18T18:07:54Z) - On Theory-training Neural Networks to Infer the Solution of Highly
Coupled Differential Equations [0.0]
高度に結合した微分方程式の解を学習するための理論学習ネットワークに関する知見を提示する。
本稿では,正規化を活用することにより,これらの振動を除去し,最終的なトレーニング損失を低減し,推定解の精度を向上させる理論学習手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T15:45:08Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。