論文の概要: Neural Delay Differential Equations
- arxiv url: http://arxiv.org/abs/2102.10801v1
- Date: Mon, 22 Feb 2021 06:53:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 07:18:01.993014
- Title: Neural Delay Differential Equations
- Title（参考訳）: ニューラル遅延微分方程式
- Authors: Qunxi Zhu, Yao Guo, Wei Lin
- Abstract要約: ニューラル遅延微分方程式 (N Neural Delay Differential Equations, NDDEs) と呼ばれる遅延を持つ連続深層ニューラルネットワークの新しいクラスを提案する。
対応する勾配を計算するために,随伴感度法を用いて随伴の遅延ダイナミクスを得る。
この結果から,動的システムの要素をネットワーク設計に適切に表現することは,ネットワーク性能の促進に真に有益であることが判明した。
- 参考スコア（独自算出の注目度）: 9.077775405204347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Ordinary Differential Equations (NODEs), a framework of
continuous-depth neural networks, have been widely applied, showing exceptional
efficacy in coping with some representative datasets. Recently, an augmented
framework has been successfully developed for conquering some limitations
emergent in application of the original framework. Here we propose a new class
of continuous-depth neural networks with delay, named as Neural Delay
Differential Equations (NDDEs), and, for computing the corresponding gradients,
we use the adjoint sensitivity method to obtain the delayed dynamics of the
adjoint. Since the differential equations with delays are usually seen as
dynamical systems of infinite dimension possessing more fruitful dynamics, the
NDDEs, compared to the NODEs, own a stronger capacity of nonlinear
representations. Indeed, we analytically validate that the NDDEs are of
universal approximators, and further articulate an extension of the NDDEs,
where the initial function of the NDDEs is supposed to satisfy ODEs. More
importantly, we use several illustrative examples to demonstrate the
outstanding capacities of the NDDEs and the NDDEs with ODEs' initial value.
Specifically, (1) we successfully model the delayed dynamics where the
trajectories in the lower-dimensional phase space could be mutually
intersected, while the traditional NODEs without any argumentation are not
directly applicable for such modeling, and (2) we achieve lower loss and higher
accuracy not only for the data produced synthetically by complex models but
also for the real-world image datasets, i.e., CIFAR10, MNIST, and SVHN. Our
results on the NDDEs reveal that appropriately articulating the elements of
dynamical systems into the network design is truly beneficial to promoting the
network performance.
- Abstract（参考訳）: ニューラルネットワークのフレームワークであるNeural Ordinary Differential Equations (NODE)は広く適用されており、いくつかの代表的なデータセットに対処する上で極めて有効である。
最近、拡張フレームワークが開発され、オリジナルのフレームワークの適用時に発生するいくつかの制限を克服した。
本稿では,ニューラル遅延微分方程式 (nddes) と呼ばれる遅延を持つ新しい連続的深層ニューラルネットワークのクラスを提案し,それに対応する勾配を計算するために随伴感度法を用いて随伴系の遅延ダイナミクスを得る。
遅延を持つ微分方程式は、通常、より実効的なダイナミクスを持つ無限次元の力学系と見なされるので、ノードと比較してnddesは、より強い非線形表現能力を持っている。
実際、我々はNDDEが普遍近似器であることを解析的に検証し、さらにNDDEの拡張を明確にし、NDDEの初期関数がODEを満たすことを想定する。
さらに重要なことは、NDDEとNDDEの卓越した能力をODEの初期値で示すために、いくつかの例を使っています。
具体的には、(1) 低次元位相空間の軌道が相互に交差できる遅延ダイナミクスのモデル化に成功し、(2) 引数のない従来のNODEはそのようなモデリングには直接適用されず、(2) 複雑なモデルによって合成されたデータだけでなく、CIFAR10、MNIST、SVHNといった実世界の画像データセットに対しても、より低い損失とより高い精度を実現しました。
NDDEの結果から,動的システムの要素をネットワーク設計に適切に表現することは,ネットワーク性能の促進に真に有益であることが判明した。
関連論文リスト
- PhyMPGN: Physics-encoded Message Passing Graph Network for spatiotemporal PDE systems [31.006807854698376]
我々は物理符号化されたメッセージパッシンググラフネットワーク(PhyMPGN)という新しいグラフ学習手法を提案する。
我々は,GNNを数値積分器に組み込んで,与えられたPDEシステムに対する時間的時間的ダイナミクスの時間的行進を近似する。
PhyMPGNは、粗い非構造メッシュ上での様々なタイプの時間的ダイナミクスを正確に予測することができる。
論文 参考訳（メタデータ） (2024-10-02T08:54:18Z) - Latent Neural PDE Solver: a reduced-order modelling framework for
partial differential equations [6.173339150997772]
より粗い離散化を伴う潜在空間における系の力学を学習することを提案する。
非線形オートエンコーダは、まずシステムの全順序表現をメッシュ再現空間に投影するように訓練される。
実時間空間で動作するニューラルPDEソルバと比較して, 精度と効率が優れていることを示す。
論文 参考訳（メタデータ） (2024-02-27T19:36:27Z) - GNRK: Graph Neural Runge-Kutta method for solving partial differential
equations [0.0]
本研究はグラフニューラルランゲ・クッタ(GNRK)と呼ばれる新しいアプローチを紹介する。
GNRKはグラフニューラルネットワークモジュールを古典的解法にインスパイアされた再帰構造に統合する。
これは、初期条件やPDE係数に関係なく、一般的なPDEに対処する能力を示す。
論文 参考訳（メタデータ） (2023-10-01T08:52:46Z) - Neural Delay Differential Equations: System Reconstruction and Image
Classification [14.59919398960571]
我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。
NODE と比較して、NDDE はより強い非線形表現能力を持つ。
我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
論文 参考訳（メタデータ） (2023-04-11T16:09:28Z) - Learning the Delay Using Neural Delay Differential Equations [0.5505013339790825]
遅延微分方程式(DDE)に基づく連続時間ニューラルネットワークアプローチを開発する。
我々のモデルは随伴感度法を用いてモデルパラメータを学習し、データから直接遅延する。
我々は今後の方向性と応用について議論をまとめる。
論文 参考訳（メタデータ） (2023-04-03T19:50:36Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Neural Operator with Regularity Structure for Modeling Dynamics Driven
by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。
本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。
動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文 参考訳（メタデータ） (2022-04-13T08:53:41Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-03-15T19:14:41Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。