論文の概要: ODEN: A Framework to Solve Ordinary Differential Equations using
Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2005.14090v2
- Date: Mon, 1 Jun 2020 10:06:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-27 05:53:43.494036
- Title: ODEN: A Framework to Solve Ordinary Differential Equations using
Artificial Neural Networks
- Title(参考訳): ODEN: ニューラルネットワークを用いた正規微分方程式の解法
- Authors: Liam L.H. Lau and Denis Werth
- Abstract要約: 我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。
ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。
ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explore in detail a method to solve ordinary differential equations using
feedforward neural networks. We prove a specific loss function, which does not
require knowledge of the exact solution, to be a suitable standard metric to
evaluate neural networks' performance. Neural networks are shown to be
proficient at approximating continuous solutions within their training domains.
We illustrate neural networks' ability to outperform traditional standard
numerical techniques. Training is thoroughly examined and three universal
phases are found: (i) a prior tangent adjustment, (ii) a curvature fitting, and
(iii) a fine-tuning stage. The main limitation of the method is the nontrivial
task of finding the appropriate neural network architecture and the choice of
neural network hyperparameters for efficient optimization. However, we observe
an optimal architecture that matches the complexity of the differential
equation. A user-friendly and adaptable open-source code (ODE$\mathcal{N}$) is
provided on GitHub.
- Abstract(参考訳): フィードフォワードニューラルネットワークを用いた常微分方程式の解法を詳細に検討する。
ニューラルネットワークの性能を評価するのに適した標準指標として,正確な解の知識を必要としない特定の損失関数を証明する。
ニューラルネットワークは、トレーニング領域内の継続的ソリューションの近似に熟練していることが示されている。
ニューラルネットワークが従来の標準数値技術より優れていることを示す。
訓練は徹底的に検討され、3つの普遍的な段階が見つかる。
(i)事前の接尾辞の調整
(二)曲率フィッティング、及び
(iii)微調整段階。
この手法の主な制限は、適切なニューラルネットワークアーキテクチャを見つけるための非自明なタスクと、効率的な最適化のためのニューラルネットワークハイパーパラメータの選択である。
しかし、微分方程式の複雑性に合致する最適なアーキテクチャを観測する。
ユーザフレンドリで適応可能なオープンソースコード(ODE$\mathcal{N}$)がGitHubで提供されている。
関連論文リスト
- NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。
ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。
我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
論文 参考訳(メタデータ) (2023-10-08T12:33:42Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳(メタデータ) (2022-10-12T06:49:16Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T22:00:41Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - Adaptive neural domain refinement for solving time-dependent
differential equations [0.0]
ニューラルネットワークを用いた微分方程式の古典的な解法は、解領域の離散化を伴う微分方程式を用いるニューラルネットワーク形式に基づいている。
このような重要かつ成功した戦略を、ニューラルネットワークベースのソリューションの分野に移行することが望ましい。
本稿では,時間依存問題の解決を目的とした新しい適応型ニューラルアプローチを提案する。
論文 参考訳(メタデータ) (2021-12-23T13:19:07Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳(メタデータ) (2021-12-13T20:50:54Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳(メタデータ) (2021-03-15T17:26:34Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Unsupervised Learning of Solutions to Differential Equations with
Generative Adversarial Networks [1.1470070927586016]
本研究では,教師なしニューラルネットワークを用いた微分方程式の解法を開発した。
差分方程式GAN (DEQGAN) と呼ばれる手法は, 平均二乗誤差を桁違いに低減できることを示す。
論文 参考訳(メタデータ) (2020-07-21T23:36:36Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。