論文の概要: Neural Delay Differential Equations: System Reconstruction and Image Classification

• arxiv url: http://arxiv.org/abs/2304.05310v1
• Date: Tue, 11 Apr 2023 16:09:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:17:04.168233
• Title: Neural Delay Differential Equations: System Reconstruction and Image Classification
• Title（参考訳）: ニューラル遅延微分方程式:システム再構成と画像分類
• Authors: Qunxi Zhu, Yao Guo, Wei Lin
• Abstract要約: 我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。 我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
• 参考スコア（独自算出の注目度）: 14.59919398960571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Ordinary Differential Equations (NODEs), a framework of continuous-depth neural networks, have been widely applied, showing exceptional efficacy in coping with representative datasets. Recently, an augmented framework has been developed to overcome some limitations that emerged in the application of the original framework. In this paper, we propose a new class of continuous-depth neural networks with delay, named Neural Delay Differential Equations (NDDEs). To compute the corresponding gradients, we use the adjoint sensitivity method to obtain the delayed dynamics of the adjoint. Differential equations with delays are typically seen as dynamical systems of infinite dimension that possess more fruitful dynamics. Compared to NODEs, NDDEs have a stronger capacity of nonlinear representations. We use several illustrative examples to demonstrate this outstanding capacity. Firstly, we successfully model the delayed dynamics where the trajectories in the lower-dimensional phase space could be mutually intersected and even chaotic in a model-free or model-based manner. Traditional NODEs, without any argumentation, are not directly applicable for such modeling. Secondly, we achieve lower loss and higher accuracy not only for the data produced synthetically by complex models but also for the CIFAR10, a well-known image dataset. Our results on the NDDEs demonstrate that appropriately articulating the elements of dynamical systems into the network design is truly beneficial in promoting network performance.
• Abstract（参考訳）: ニューラルネットワークのフレームワークであるNeural Ordinary Differential Equations(NODE)は広く適用されており、代表的データセットに対処する上で極めて有効である。 最近、拡張フレームワークが開発され、オリジナルのフレームワークの適用に現れるいくつかの制限を克服した。 本稿では,ニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDE) という,遅延を伴う連続深度ニューラルネットワークのクラスを提案する。 対応する勾配を計算するために,随伴感度法を用いて随伴の遅延ダイナミクスを得る。 遅延を持つ微分方程式は一般に、より実りある力学を持つ無限次元の力学系と見なされる。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。 この優れた能力を示すために、いくつかの例を使っています。 まず, 低次元位相空間の軌道が相互に交差し, モデルフリーあるいはモデルベースでカオス的になるような遅延ダイナミクスのモデル化に成功した。 従来のNODEは、議論なしでは、そのようなモデリングには直接適用できない。 第2に,複雑なモデルによって合成されたデータだけでなく,よく知られた画像データセットであるcifar10についても,損失の低減と精度の向上を実現している。 NDDEの結果は、動的システムの要素をネットワーク設計に適切に表現することは、ネットワーク性能の促進に真に有益であることを示している。

関連論文リスト

• PhyMPGN: Physics-encoded Message Passing Graph Network for spatiotemporal PDE systems [31.006807854698376]
  我々は物理符号化されたメッセージパッシンググラフネットワーク(PhyMPGN)という新しいグラフ学習手法を提案する。 我々は,GNNを数値積分器に組み込んで,与えられたPDEシステムに対する時間的時間的ダイナミクスの時間的行進を近似する。 PhyMPGNは、粗い非構造メッシュ上での様々なタイプの時間的ダイナミクスを正確に予測することができる。
  論文  参考訳（メタデータ） (2024-10-02T08:54:18Z)
• Latent Neural PDE Solver: a reduced-order modelling framework for partial differential equations [6.173339150997772]
  より粗い離散化を伴う潜在空間における系の力学を学習することを提案する。 非線形オートエンコーダは、まずシステムの全順序表現をメッシュ再現空間に投影するように訓練される。 実時間空間で動作するニューラルPDEソルバと比較して, 精度と効率が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-27T19:36:27Z)
• Semi-Supervised Learning of Dynamical Systems with Neural Ordinary Differential Equations: A Teacher-Student Model Approach [10.20098335268973]
  TS-NODEは、NODEで動的システムのモデリングを行うための、最初の半教師付きアプローチである。 複数の動的システムモデリングタスクにおいて,ベースラインのNeural ODEモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-19T19:17:12Z)
• Dynamic Causal Explanation Based Diffusion-Variational Graph Neural Network for Spatio-temporal Forecasting [60.03169701753824]
  時間予測のための動的拡散型グラフニューラルネットワーク(DVGNN)を提案する。 提案したDVGNNモデルは最先端のアプローチよりも優れ,Root Mean Squared Errorの結果が優れている。
  論文  参考訳（メタデータ） (2023-05-16T11:38:19Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Neural Delay Differential Equations [9.077775405204347]
  ニューラル遅延微分方程式 (N Neural Delay Differential Equations, NDDEs) と呼ばれる遅延を持つ連続深層ニューラルネットワークの新しいクラスを提案する。 対応する勾配を計算するために,随伴感度法を用いて随伴の遅延ダイナミクスを得る。 この結果から,動的システムの要素をネットワーク設計に適切に表現することは,ネットワーク性能の促進に真に有益であることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T06:53:51Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。