論文の概要: Neuroevolution of Physics-Informed Neural Nets: Benchmark Problems and Comparative Results

• arxiv url: http://arxiv.org/abs/2212.07624v3
• Date: Wed, 6 Dec 2023 08:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 19:21:39.458659
• Title: Neuroevolution of Physics-Informed Neural Nets: Benchmark Problems and Comparative Results
• Title（参考訳）: 物理形ニューラルネットの神経進化:ベンチマーク問題と比較結果
• Authors: Nicholas Sung Wei Yong, Jian Cheng Wong, Pao-Hsiung Chiu, Abhishek Gupta, Chinchun Ooi, Yew-Soon Ong
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、最近の進歩の最前線にある重要な技術の一つである。 PINNのユニークな損失の定式化は、勾配降下に寄与しない高い複雑さと頑丈さをもたらす。 優れたグローバル検索能力を持つ神経進化アルゴリズムは、PINNにとってより良い選択であるかもしれない。
• 参考スコア（独自算出の注目度）: 25.12291688711645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The potential of learned models for fundamental scientific research and discovery is drawing increasing attention worldwide. Physics-informed neural networks (PINNs), where the loss function directly embeds governing equations of scientific phenomena, is one of the key techniques at the forefront of recent advances. PINNs are typically trained using stochastic gradient descent methods, akin to their deep learning counterparts. However, analysis in this paper shows that PINNs' unique loss formulations lead to a high degree of complexity and ruggedness that may not be conducive for gradient descent. Unlike in standard deep learning, PINN training requires globally optimum parameter values that satisfy physical laws as closely as possible. Spurious local optimum, indicative of erroneous physics, must be avoided. Hence, neuroevolution algorithms, with their superior global search capacity, may be a better choice for PINNs relative to gradient descent methods. Here, we propose a set of five benchmark problems, with open-source codes, spanning diverse physical phenomena for novel neuroevolution algorithm development. Using this, we compare two neuroevolution algorithms against the commonly used stochastic gradient descent, and our baseline results support the claim that neuroevolution can surpass gradient descent, ensuring better physics compliance in the predicted outputs. %Furthermore, implementing neuroevolution with JAX leads to orders of magnitude speedup relative to standard implementations.
• Abstract（参考訳）: 基礎科学研究と発見のための学習モデルの可能性は、世界中の注目を集めている。 損失関数が科学現象の方程式を直接埋め込む物理情報ニューラルネットワーク(PINN)は、最近の進歩の最前線にある重要な技術の一つである。 PINNは通常、その深層学習と同様、確率勾配降下法を用いて訓練される。 しかし,本論文の分析により,ピンのユニークな損失定式化は,勾配降下に寄与しない高い複雑さと頑丈さをもたらすことが示された。 標準的なディープラーニングとは異なり、PINNトレーニングは、可能な限り物理法則を忠実に満たす、グローバルに最適なパラメータ値を必要とする。 スプリアス局所最適、誤った物理学の指標は避けなければならない。 したがって、大域的探索能力に優れたニューロ進化アルゴリズムは、勾配降下法と比較してピンのよい選択であるかもしれない。 本稿では,新しい神経進化アルゴリズム開発のための様々な物理現象にまたがる,オープンソースコードによる5つのベンチマーク問題を提案する。 これを用いることで,2つの神経進化アルゴリズムを確率的勾配降下と比較し,神経進化が勾配降下を超越し,予測結果の物理適合性が向上することを示す。 さらに、JAXによる神経進化の実装は、標準実装と比較して、桁違いのスピードアップにつながります。

関連論文リスト

• Improving PINNs By Algebraic Inclusion of Boundary and Initial Conditions [0.1874930567916036]
  AI for Science」は、AI技術を用いた基本的な科学的問題を解決することを目的としている。 本研究では、トレーニング対象のモデルを単にニューラルネットワークから非線形変換に変更する可能性について検討する。 これにより、損失関数の項数は標準のPINN損失よりも減少する。
  論文  参考訳（メタデータ） (2024-07-30T11:19:48Z)
• Improved physics-informed neural network in mitigating gradient related failures [11.356695216531328]
  物理インフォームドニューラルネットワーク(PINN)は、高度なデータ駆動技術で基本的な物理原理を統合する。 PINNは勾配流の剛性に悩まされ、予測能力が制限される。 本稿では,勾配関連障害を軽減するために改良されたPINNを提案する。
  論文  参考訳（メタデータ） (2024-07-28T07:58:10Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• PSO-PINN: Physics-Informed Neural Networks Trained with Particle Swarm Optimization [0.0]
  そこで本研究では,ハイブリッド粒子群最適化と勾配降下法を用いてPINNを訓練する手法を提案する。 PSO-PINNアルゴリズムは、標準勾配降下法で訓練されたPINNの望ましくない挙動を緩和する。 実験の結果, PSO-PINNはアダム勾配降下法でトレーニングしたベースラインPINNよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-02-04T02:21:31Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Can Transfer Neuroevolution Tractably Solve Your Differential Equations? [22.714772862513826]
  本稿では、微分方程式を解くための神経進化について述べる。 神経進化は、局所最適を回避することを目的として、多様な解を並列に探索する。 本稿では,新しい,計算効率の良い伝達ニューロ進化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-06T13:07:52Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。