論文の概要: Discovering Physics-Informed Neural Networks Model for Solving Partial Differential Equations through Evolutionary Computation
- arxiv url: http://arxiv.org/abs/2405.11208v1
- Date: Sat, 18 May 2024 07:32:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 18:57:45.849741
- Title: Discovering Physics-Informed Neural Networks Model for Solving Partial Differential Equations through Evolutionary Computation
- Title（参考訳）: 進化計算による偏微分方程式の解法に関する物理情報ニューラルネットワークモデル
- Authors: Bo Zhang, Chao Yang,
- Abstract要約: 本稿では,より高い近似精度と高速収束率を持つPINNモデルの探索を目的とした進化的計算手法を提案する。
実験では、ベイズ最適化、ランダム探索、進化を通じて探索される異なるモデルの性能を比較して、クライン=ゴルドン方程式、バーガー方程式、ラム方程式を解く。
- 参考スコア（独自算出の注目度）: 5.8407437499182935
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, the researches about solving partial differential equations (PDEs) based on artificial neural network have attracted considerable attention. In these researches, the neural network models are usually designed depend on human experience or trial and error. Despite the emergence of several model searching methods, these methods primarily concentrate on optimizing the hyperparameters of fully connected neural network model based on the framework of physics-informed neural networks (PINNs), and the corresponding search spaces are relatively restricted, thereby limiting the exploration of superior models. This article proposes an evolutionary computation method aimed at discovering the PINNs model with higher approximation accuracy and faster convergence rate. In addition to searching the numbers of layers and neurons per hidden layer, this method concurrently explores the optimal shortcut connections between the layers and the novel parametric activation functions expressed by the binary trees. In evolution, the strategy about dynamic population size and training epochs (DPSTE) is adopted, which significantly increases the number of models to be explored and facilitates the discovery of models with fast convergence rate. In experiments, the performance of different models that are searched through Bayesian optimization, random search and evolution is compared in solving Klein-Gordon, Burgers, and Lam\'e equations. The experimental results affirm that the models discovered by the proposed evolutionary computation method generally exhibit superior approximation accuracy and convergence rate, and these models also show commendable generalization performance with respect to the source term, initial and boundary conditions, equation coefficient and computational domain. The corresponding code is available at https://github.com/MathBon/Discover-PINNs-Model.
- Abstract（参考訳）: 近年,ニューラルネットワークに基づく偏微分方程式(PDE)の解法に関する研究が注目されている。
これらの研究では、ニューラルネットワークモデルは通常、人間の経験や試行錯誤に依存する。
いくつかのモデル探索手法の出現にもかかわらず、これらの手法は主に物理インフォームドニューラルネットワーク(PINN)の枠組みに基づく完全連結ニューラルネットワークモデルのハイパーパラメータの最適化に重点を置いており、対応する探索空間は比較的制限されており、優れたモデルの探索が制限される。
本稿では,より高い近似精度と高速収束率を持つPINNモデルの探索を目的とした進化的計算手法を提案する。
本手法は,隠蔽層当たりの層数とニューロン数を探索することに加えて,二分木で表される新しいパラメトリック活性化関数と,各層間の最適なショートカット接続を同時に探索する。
進化において、動的集団サイズと訓練エポック(DPSTE)に関する戦略が採用され、探索対象のモデル数が大幅に増加し、高速収束率のモデル発見が促進される。
実験では、ベイズ最適化、ランダム探索、進化を通じて探索される異なるモデルの性能を比較して、クライン・ゴルドン、バーガーズ、ランビー方程式を解く。
実験結果から,提案手法によって発見されたモデルは近似精度と収束率に優れており,これらのモデルはまた,元項,初期条件,境界条件,方程式係数,計算領域に関して可換な一般化性能を示した。
対応するコードはhttps://github.com/MathBon/Discover-PINNs-Modelで入手できる。
関連論文リスト
- Chebyshev Spectral Neural Networks for Solving Partial Differential Equations [0.0]
この研究は、フィードフォワードニューラルネットワークモデルとエラーバックプロパゲーション原理を用いて、損失関数の計算に自動微分(AD)を利用する。
楕円偏微分方程式を用いて,CSNNモデルの数値効率と精度について検討し,よく知られた物理インフォームドニューラルネットワーク(PINN)法と比較した。
論文 参考訳（メタデータ） (2024-06-06T05:31:45Z) - An automatic selection of optimal recurrent neural network architecture
for processes dynamics modelling purposes [0.0]
この研究には、ニューラルネットワークアーキテクチャ検索専用のアルゴリズムの提案が4つ含まれている。
アルゴリズムは進化的アルゴリズムや勾配降下法のようなよく知られた最適化手法に基づいている。
この研究は、加圧水型原子炉で発生した高速過程の数学的モデルから生成されたデータに基づく、拡張された検証研究を含む。
論文 参考訳（メタデータ） (2023-09-25T11:06:35Z) - Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。
この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。
DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
論文 参考訳（メタデータ） (2023-02-27T19:00:05Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳（メタデータ） (2021-12-13T20:50:54Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Stochastic analysis of heterogeneous porous material with modified
neural architecture search (NAS) based physics-informed neural networks using
transfer learning [0.0]
修正ニューラルアーキテクチャ探索法(NAS)に基づく物理インフォームド深層学習モデルを提案する。
高度不均質帯水層における地下水流動シミュレーションのベンチマークを行うため, 三次元流れモデルを構築した。
論文 参考訳（メタデータ） (2020-10-03T19:57:54Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。