論文の概要: Neural Ordinary Differential Equation based Recurrent Neural Network
Model
- arxiv url: http://arxiv.org/abs/2005.09807v1
- Date: Wed, 20 May 2020 01:02:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-12-01 04:48:34.463999
- Title: Neural Ordinary Differential Equation based Recurrent Neural Network
Model
- Title（参考訳）: ニューラル常微分方程式に基づくリカレントニューラルネットワークモデル
- Authors: Mansura Habiba, Barak A. Pearlmutter
- Abstract要約: 微分方程式は ニューラルネットワークの 新たなメンバーだ
本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。
2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。
実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
- 参考スコア（独自算出の注目度）: 0.7233897166339269
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural differential equations are a promising new member in the neural
network family. They show the potential of differential equations for time
series data analysis. In this paper, the strength of the ordinary differential
equation (ODE) is explored with a new extension. The main goal of this work is
to answer the following questions: (i)~can ODE be used to redefine the existing
neural network model? (ii)~can Neural ODEs solve the irregular sampling rate
challenge of existing neural network models for a continuous time series, i.e.,
length and dynamic nature, (iii)~how to reduce the training and evaluation time
of existing Neural ODE systems? This work leverages the mathematical foundation
of ODEs to redesign traditional RNNs such as Long Short-Term Memory (LSTM) and
Gated Recurrent Unit (GRU). The main contribution of this paper is to
illustrate the design of two new ODE-based RNN models (GRU-ODE model and
LSTM-ODE) which can compute the hidden state and cell state at any point of
time using an ODE solver. These models reduce the computation overhead of
hidden state and cell state by a vast amount. The performance evaluation of
these two new models for learning continuous time series with irregular
sampling rate is then demonstrated. Experiments show that these new ODE based
RNN models require less training time than Latent ODEs and conventional Neural
ODEs. They can achieve higher accuracy quickly, and the design of the neural
network is simpler than, previous neural ODE systems.
- Abstract（参考訳）: 神経微分方程式はニューラルネットワークファミリーにおいて有望な新しいメンバーである。
時系列データ解析における微分方程式の可能性を示す。
本稿では, 常微分方程式(ODE)の強度を新しい拡張法で探索する。
この研究の主な目標は、以下の質問に答えることです。
(i)~odeは既存のニューラルネットワークモデルを再定義するために使えるか?
(ii)〜can Neural ODEは、既存のニューラルネットワークモデルの連続時系列(長さと動的性質)に対する不規則サンプリング率の課題を解決する。
(iii)─既存のニューラルネットワークodeシステムのトレーニングと評価時間をいかに短縮するか?
この研究はODEの数学的基盤を活用し、Long Short-Term Memory(LSTM)やGated Recurrent Unit(GRU)といった従来のRNNを再設計する。
本論文の主な貢献は、ODEソルバを用いて、任意の時点における隠れ状態とセル状態を計算する2つの新しいODEベースRNNモデル(GRU-ODEモデルとLSTM-ODE)の設計について述べることである。
これらのモデルは、隠れ状態とセル状態の計算オーバーヘッドを膨大な量削減する。
これら2つの連続時系列学習モデルの性能評価を不規則なサンプリング率で行った。
実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
それらは素早く高い精度を達成でき、ニューラルネットワークの設計は従来のニューラルodeシステムよりもシンプルである。
関連論文リスト
- Neural Chronos ODE: Unveiling Temporal Patterns and Forecasting Future
and Past Trends in Time Series Data [0.0]
実験結果から,ニューラルCODEはスパイラルのダイナミクスを前後に学習する際に,ニューラルODEよりも優れていた。
CODE-RNN/-GRU/-LSTMとCODE-BiRNN/-BiGRU/-BiLSTMの比較を行った。
論文 参考訳（メタデータ） (2023-07-03T13:54:50Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - Neural Generalized Ordinary Differential Equations with Layer-varying
Parameters [1.3691539554014036]
層状ニューラルGODEは標準ニューラルGODEよりも柔軟で汎用的であることを示す。
Neural-GODEは、予測精度でResNetsと互換性を持って実行しながら、計算とメモリの利点を享受する。
論文 参考訳（メタデータ） (2022-09-21T20:02:28Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳（メタデータ） (2022-06-10T02:14:59Z) - On the balance between the training time and interpretability of neural
ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。
ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。
本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文 参考訳（メタデータ） (2022-06-07T13:49:40Z) - Piecewise-constant Neural ODEs [41.116259317376475]
我々はこれらの問題を緩和するためにニューラルODEに一括的に近似する。
我々のモデルは、Euler統合によって正確に統合することができ、対応するRNNやODE-RNNモデルよりも3～20倍少ないステップで自己回帰サンプルを生成することができる。
論文 参考訳（メタデータ） (2021-06-11T21:46:55Z) - Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。
我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文 参考訳（メタデータ） (2021-05-28T19:27:09Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。