論文の概要: Can Transfer Neuroevolution Tractably Solve Your Differential Equations?
- arxiv url: http://arxiv.org/abs/2101.01998v2
- Date: Wed, 5 May 2021 02:37:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 17:50:11.963073
- Title: Can Transfer Neuroevolution Tractably Solve Your Differential Equations?
- Title（参考訳）: 神経進化はあなたの微分方程式を正確に解けるか?
- Authors: Jian Cheng Wong, Abhishek Gupta, Yew-Soon Ong
- Abstract要約: 本稿では、微分方程式を解くための神経進化について述べる。
神経進化は、局所最適を回避することを目的として、多様な解を並列に探索する。
本稿では,新しい,計算効率の良い伝達ニューロ進化アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 22.714772862513826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces neuroevolution for solving differential equations. The
solution is obtained through optimizing a deep neural network whose loss
function is defined by the residual terms from the differential equations.
Recent studies have focused on learning such physics-informed neural networks
through stochastic gradient descent (SGD) variants, yet they face the
difficulty of obtaining an accurate solution due to optimization challenges. In
the context of solving differential equations, we are faced with the problem of
finding globally optimum parameters of the network, instead of being concerned
with out-of-sample generalization. SGD, which searches along a single gradient
direction, is prone to become trapped in local optima, so it may not be the
best approach here. In contrast, neuroevolution carries out a parallel
exploration of diverse solutions with the goal of circumventing local optima.
It could potentially find more accurate solutions with better optimized neural
networks. However, neuroevolution can be slow, raising tractability issues in
practice. With that in mind, a novel and computationally efficient transfer
neuroevolution algorithm is proposed in this paper. Our method is capable of
exploiting relevant experiential priors when solving a new problem, with
adaptation to protect against the risk of negative transfer. The algorithm is
applied on a variety of differential equations to empirically demonstrate that
transfer neuroevolution can indeed achieve better accuracy and faster
convergence than SGD. The experimental outcomes thus establish transfer
neuroevolution as a noteworthy approach for solving differential equations, one
that has never been studied in the past. Our work expands the resource of
available algorithms for optimizing physics-informed neural networks.
- Abstract（参考訳）: 本稿では,微分方程式を解くための神経進化について述べる。
この解は、微分方程式の残差項によって損失関数が定義されるディープニューラルネットワークを最適化することで得られる。
近年の研究では、確率勾配勾配(SGD)の変種を通した物理情報ニューラルネットワークの学習に焦点が当てられているが、最適化の課題により正確な解を得るのが困難である。
微分方程式の解法では、サンプル外一般化ではなく、ネットワークのグローバルな最適パラメータを見つけるという問題に直面している。
単一の勾配方向に沿って探索するSGDは、局所的な最適点に閉じ込められやすいため、ここでは最良のアプローチではないかもしれない。
対照的に、神経進化は局所最適を回避することを目的として多様な解の並列探索を行う。
最適化されたニューラルネットワークにより、より正確なソリューションを見つけることができる。
しかし、神経進化は遅くなり、実際に扱いにくい問題を引き起こすことがある。
このことを念頭において, 新規で計算効率の良い転移神経進化アルゴリズムを提案する。
提案手法は, 負の伝達リスクから保護するために適応することで, 新たな問題を解決する際に関連する経験優先を活用できる。
このアルゴリズムは様々な微分方程式に応用され、伝達神経進化がSGDよりも正確で高速な収束を実現することを実証的に示す。
実験結果は、これまで研究されていない微分方程式を解くための注目すべきアプローチとして、伝達神経進化を確立する。
我々の研究は、物理インフォームドニューラルネットワークを最適化するための利用可能なアルゴリズムのリソースを拡大する。
関連論文リスト
- The Unreasonable Effectiveness of Solving Inverse Problems with Neural Networks [24.766470360665647]
逆問題に対する解を学ぶために訓練されたニューラルネットワークは、トレーニングセット上でも古典よりも優れた解を見つけることができることを示す。
高速な推論のために新しいデータに一般化するのではなく、既知のデータに対するより良い解決策を見つけるためにも使用できる。
論文 参考訳（メタデータ） (2024-08-15T12:38:10Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳（メタデータ） (2023-02-20T19:36:52Z) - Neuroevolution of Physics-Informed Neural Nets: Benchmark Problems and
Comparative Results [25.12291688711645]
物理インフォームドニューラルネットワーク(PINN)は、最近の進歩の最前線にある重要な技術の一つである。
PINNのユニークな損失の定式化は、勾配降下に寄与しない高い複雑さと頑丈さをもたらす。
優れたグローバル検索能力を持つ神経進化アルゴリズムは、PINNにとってより良い選択であるかもしれない。
論文 参考訳（メタデータ） (2022-12-15T05:54:16Z) - Adaptive neural domain refinement for solving time-dependent
differential equations [0.0]
ニューラルネットワークを用いた微分方程式の古典的な解法は、解領域の離散化を伴う微分方程式を用いるニューラルネットワーク形式に基づいている。
このような重要かつ成功した戦略を、ニューラルネットワークベースのソリューションの分野に移行することが望ましい。
本稿では,時間依存問題の解決を目的とした新しい適応型ニューラルアプローチを提案する。
論文 参考訳（メタデータ） (2021-12-23T13:19:07Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Conditional physics informed neural networks [85.48030573849712]
固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。
一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
論文 参考訳（メタデータ） (2021-04-06T18:29:14Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - Unsupervised Learning of Solutions to Differential Equations with
Generative Adversarial Networks [1.1470070927586016]
本研究では,教師なしニューラルネットワークを用いた微分方程式の解法を開発した。
差分方程式GAN (DEQGAN) と呼ばれる手法は, 平均二乗誤差を桁違いに低減できることを示す。
論文 参考訳（メタデータ） (2020-07-21T23:36:36Z) - ODEN: A Framework to Solve Ordinary Differential Equations using
Artificial Neural Networks [0.0]
我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。
ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。
ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
論文 参考訳（メタデータ） (2020-05-28T15:34:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。