論文の概要: Neural Differential Recurrent Neural Network with Adaptive Time Steps
- arxiv url: http://arxiv.org/abs/2306.01674v1
- Date: Fri, 2 Jun 2023 16:46:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 14:13:15.416867
- Title: Neural Differential Recurrent Neural Network with Adaptive Time Steps
- Title（参考訳）: 適応時間ステップを有するニューラルディファレンシャルリカレントニューラルネットワーク
- Authors: Yixuan Tan, Liyan Xie, Xiuyuan Cheng
- Abstract要約: 隠れ状態の時間的発達を表すためにニューラルODEを用いるRNN-ODE-Adapと呼ばれるRNNベースのモデルを提案する。
我々は、データの変化の急激さに基づいて時間ステップを適応的に選択し、「スパイクのような」時系列に対してより効率的にモデルを訓練する。
- 参考スコア（独自算出の注目度）: 11.999568208578799
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The neural Ordinary Differential Equation (ODE) model has shown success in
learning complex continuous-time processes from observations on discrete time
stamps. In this work, we consider the modeling and forecasting of time series
data that are non-stationary and may have sharp changes like spikes. We propose
an RNN-based model, called RNN-ODE-Adap, that uses a neural ODE to represent
the time development of the hidden states, and we adaptively select time steps
based on the steepness of changes of the data over time so as to train the
model more efficiently for the "spike-like" time series. Theoretically,
RNN-ODE-Adap yields provably a consistent estimation of the intensity function
for the Hawkes-type time series data. We also provide an approximation analysis
of the RNN-ODE model showing the benefit of adaptive steps. The proposed model
is demonstrated to achieve higher prediction accuracy with reduced
computational cost on simulated dynamic system data and point process data and
on a real electrocardiography dataset.
- Abstract（参考訳）: ニューラル常微分方程式(ODE)モデルは、離散時間スタンプの観測から複雑な継続的プロセスを学ぶことに成功している。
本研究では,非定常でスパイクなどの鋭い変化を伴う時系列データのモデル化と予測について考察する。
rnn-ode-adapと呼ばれるrnnベースのモデルを提案し,ニューラルネットワークを用いた隠れ状態の時間発展を表現し,時間経過に伴うデータの変化の急勾配に基づいて時間ステップを適応的に選択することで,"スパイクライク"時系列に対してより効率的にモデルを訓練する。
理論的には、RNN-ODE-Adapはホークス型時系列データに対する強度関数を確実に一貫した推定を行う。
また、適応的なステップの利点を示すRNN-ODEモデルの近似解析も提供する。
シミュレーションされた動的システムデータとポイントプロセスデータと実際の心電図データセットで計算コストを削減し,予測精度の向上を実証した。
関連論文リスト
- Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - Temporal Graph Neural Networks for Irregular Data [14.653008985229615]
TGNN4Iモデルは、不規則な時間ステップとグラフの部分的な観察の両方を扱うように設計されている。
時間連続力学により、任意の時間ステップでモデルを予測できる。
交通・気候モデルによるシミュレーションデータと実世界のデータの実験は、グラフ構造と時間連続力学の両方の有用性を検証する。
論文 参考訳（メタデータ） (2023-02-16T16:47:55Z) - Improved Batching Strategy For Irregular Time-Series ODE [0.0]
本稿では, ODE-RNN 上でのランタイムの改善を, 異なる効率的な戦略を用いて提案する。
実験の結果,データの不規則性に応じてODE-RNNのランタイムを2倍から49倍に削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-12T17:30:02Z) - On the balance between the training time and interpretability of neural
ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。
ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。
本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文 参考訳（メタデータ） (2022-06-07T13:49:40Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - Neural Flows: Efficient Alternative to Neural ODEs [8.01886971335823]
本稿では,ORのフローである解曲線を直接ニューラルネットワークでモデル化する手法を提案する。
これにより、ニューラルネットワークのモデリング能力を維持しながら、高価な数値解法の必要性はすぐに解消される。
論文 参考訳（メタデータ） (2021-10-25T15:24:45Z) - CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep
Representation Learning from Sporadic Temporal Data [1.8352113484137622]
本稿では,散発データにおける複数の時間的特徴をモデル化するための新しい深層学習モデルを提案する。
提案モデルはCARRNNと呼ばれ、時間ラグによって変調されたニューラルネットワークを用いてエンドツーエンドにトレーニング可能な一般化された離散時間自己回帰モデルを使用する。
アルツハイマー病進行モデルおよび集中治療単位(ICU)死亡率予測のためのデータを用いて,多変量時系列回帰タスクに適用した。
論文 参考訳（メタデータ） (2021-04-08T12:43:44Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z) - Accelerated solving of coupled, non-linear ODEs through LSTM-AI [0.0]
本研究の目的は、機械学習、特にニューラルネットワーク(NN)を用いて、結合された常微分方程式(ODE)の集合の軌跡を学習することである。
予測計算時間と数値解を求める計算時間を比較すると,計算速度は9.75倍から197倍に向上した。
論文 参考訳（メタデータ） (2020-09-11T18:31:53Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。