論文の概要: JAX-Accelerated Neuroevolution of Physics-informed Neural Networks:
Benchmarks and Experimental Results
- arxiv url: http://arxiv.org/abs/2212.07624v1
- Date: Thu, 15 Dec 2022 05:54:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 15:40:51.636527
- Title: JAX-Accelerated Neuroevolution of Physics-informed Neural Networks:
Benchmarks and Experimental Results
- Title（参考訳）: JAX-Accelerated Neuroevolution of Physics-informed Neural Networks: ベンチマークと実験結果
- Authors: Nicholas Sung Wei Yong, Jian Cheng Wong, Pao-Hsiung Chiu, Abhishek
Gupta, Chinchun Ooi, Yew-Soon Ong
- Abstract要約: 本稿では,微分方程式の解法として進化的アルゴリズムを導入する。
この解は、損失関数が微分方程式から残留項で定義されるディープニューラルネットワークを最適化することによって得られる。
- 参考スコア（独自算出の注目度）: 17.24449797747682
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces the use of evolutionary algorithms for solving
differential equations. The solution is obtained by optimizing a deep neural
network whose loss function is defined by the residual terms from the
differential equations. Recent studies have used stochastic gradient descent
(SGD) variants to train these physics-informed neural networks (PINNs), but
these methods can struggle to find accurate solutions due to optimization
challenges. When solving differential equations, it is important to find the
globally optimum parameters of the network, rather than just finding a solution
that works well during training. SGD only searches along a single gradient
direction, so it may not be the best approach for training PINNs with their
accompanying complex optimization landscapes. In contrast, evolutionary
algorithms perform a parallel exploration of different solutions in order to
avoid getting stuck in local optima and can potentially find more accurate
solutions. However, evolutionary algorithms can be slow, which can make them
difficult to use in practice. To address this, we provide a set of five
benchmark problems with associated performance metrics and baseline results to
support the development of evolutionary algorithms for enhanced PINN training.
As a baseline, we evaluate the performance and speed of using the widely
adopted Covariance Matrix Adaptation Evolution Strategy (CMA-ES) for solving
PINNs. We provide the loss and training time for CMA-ES run on TensorFlow, and
CMA-ES and SGD run on JAX (with GPU acceleration) for the five benchmark
problems. Our results show that JAX-accelerated evolutionary algorithms,
particularly CMA-ES, can be a useful approach for solving differential
equations. We hope that our work will support the exploration and development
of alternative optimization algorithms for the complex task of optimizing
PINNs.
- Abstract（参考訳）: 本稿では,微分方程式の解法として進化的アルゴリズムを導入する。
この解は、微分方程式の残差項によって損失関数が定義されるディープニューラルネットワークを最適化することで得られる。
近年の研究では、これらの物理インフォームドニューラルネットワーク(PINN)をトレーニングするために、確率勾配降下(SGD)変異を用いているが、これらの手法は最適化の課題のために正確な解を見つけるのに苦労している。
微分方程式を解くとき、単にトレーニング中にうまく働く解を見つけるのではなく、ネットワークのグローバルに最適なパラメータを見つけることが重要である。
SGDは1つの勾配方向のみを探索するので、それに伴う複雑な最適化状況でPINNをトレーニングするには最適ではないかもしれない。
対照的に、進化的アルゴリズムは、局所最適化で立ち往生することを避け、より正確な解を見つけるために、異なる解の並列探索を行う。
しかし、進化的アルゴリズムは遅くなり、実際に使用するのが難しくなる。
そこで我々は,PINN学習の強化のための進化的アルゴリズムの開発を支援するために,関連するパフォーマンス指標とベースライン結果の5つのベンチマーク問題を提案する。
ベースラインとして,広く採用されている共分散行列適応進化戦略 (cma-es) を用いたピンの解法の性能と速度を評価する。
我々は、TensorFlow上で実行されるCMA-ESの損失とトレーニング時間を提供し、5つのベンチマーク問題に対してJAX上で実行されるCMA-ESとSGDを提供する。
JAX加速進化アルゴリズム,特にCMA-ESは微分方程式の解法として有用であることを示す。
我々は,PINNを最適化する複雑なタスクに対して,代替最適化アルゴリズムの探索と開発を支援することを願っている。
関連論文リスト
- Improving PINNs By Algebraic Inclusion of Boundary and Initial Conditions [0.1874930567916036]
AI for Science」は、AI技術を用いた基本的な科学的問題を解決することを目的としている。
本研究では、トレーニング対象のモデルを単にニューラルネットワークから非線形変換に変更する可能性について検討する。
これにより、損失関数の項数は標準のPINN損失よりも減少する。
論文 参考訳（メタデータ） (2024-07-30T11:19:48Z) - Improved physics-informed neural network in mitigating gradient related failures [11.356695216531328]
物理インフォームドニューラルネットワーク(PINN)は、高度なデータ駆動技術で基本的な物理原理を統合する。
PINNは勾配流の剛性に悩まされ、予測能力が制限される。
本稿では,勾配関連障害を軽減するために改良されたPINNを提案する。
論文 参考訳（メタデータ） (2024-07-28T07:58:10Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Auto-PINN: Understanding and Optimizing Physics-Informed Neural
Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。
標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文 参考訳（メタデータ） (2022-05-27T03:24:31Z) - PSO-PINN: Physics-Informed Neural Networks Trained with Particle Swarm
Optimization [0.0]
そこで本研究では,ハイブリッド粒子群最適化と勾配降下法を用いてPINNを訓練する手法を提案する。
PSO-PINNアルゴリズムは、標準勾配降下法で訓練されたPINNの望ましくない挙動を緩和する。
実験の結果, PSO-PINNはアダム勾配降下法でトレーニングしたベースラインPINNよりも一貫して優れていた。
論文 参考訳（メタデータ） (2022-02-04T02:21:31Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳（メタデータ） (2021-09-02T16:06:45Z) - Can Transfer Neuroevolution Tractably Solve Your Differential Equations? [22.714772862513826]
本稿では、微分方程式を解くための神経進化について述べる。
神経進化は、局所最適を回避することを目的として、多様な解を並列に探索する。
本稿では,新しい,計算効率の良い伝達ニューロ進化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-06T13:07:52Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。