論文の概要: Enhancing Continuous Time Series Modelling with a Latent ODE-LSTM Approach

• arxiv url: http://arxiv.org/abs/2307.05126v1
• Date: Tue, 11 Jul 2023 09:01:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 15:44:55.547327
• Title: Enhancing Continuous Time Series Modelling with a Latent ODE-LSTM Approach
• Title（参考訳）: 遅延ODE-LSTMアプローチによる連続時系列モデリングの強化
• Authors: C. Coelho, M. Fernanda P. Costa, L.L. Ferr\'as
• Abstract要約: 連続時系列(CTS)は多くのアプリケーションで見られる。 標準リカレントニューラルネットワーク(RNN)を用いた不規則サンプリングレートのCTSのモデル化は困難である
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Due to their dynamic properties such as irregular sampling rate and high-frequency sampling, Continuous Time Series (CTS) are found in many applications. Since CTS with irregular sampling rate are difficult to model with standard Recurrent Neural Networks (RNNs), RNNs have been generalised to have continuous-time hidden dynamics defined by a Neural Ordinary Differential Equation (Neural ODE), leading to the ODE-RNN model. Another approach that provides a better modelling is that of the Latent ODE model, which constructs a continuous-time model where a latent state is defined at all times. The Latent ODE model uses a standard RNN as the encoder and a Neural ODE as the decoder. However, since the RNN encoder leads to difficulties with missing data and ill-defined latent variables, a Latent ODE-RNN model has recently been proposed that uses a ODE-RNN model as the encoder instead. Both the Latent ODE and Latent ODE-RNN models are difficult to train due to the vanishing and exploding gradients problem. To overcome this problem, the main contribution of this paper is to propose and illustrate a new model based on a new Latent ODE using an ODE-LSTM (Long Short-Term Memory) network as an encoder -- the Latent ODE-LSTM model. To limit the growth of the gradients the Norm Gradient Clipping strategy was embedded on the Latent ODE-LSTM model. The performance evaluation of the new Latent ODE-LSTM (with and without Norm Gradient Clipping) for modelling CTS with regular and irregular sampling rates is then demonstrated. Numerical experiments show that the new Latent ODE-LSTM performs better than Latent ODE-RNNs and can avoid the vanishing and exploding gradients during training.
• Abstract（参考訳）: 不規則サンプリングや高周波サンプリングなどの動的特性のため、多くのアプリケーションで連続時間系列(CTS)が見られる。 不規則サンプリングレートのCTSは標準リカレントニューラルネットワーク(RNN)ではモデル化が難しいため、RNNはニューラル正規微分方程式(Neural ODE)によって定義された連続時間隠れ力学を持つように一般化され、ODE-RNNモデルが導かれる。 よりよいモデリングを提供するもう1つのアプローチは、潜時状態が常に定義されている連続時間モデルを構築する潜時ODEモデルである。 Latent ODEモデルは、標準のRNNをエンコーダとして、Neural ODEをデコーダとして使用する。 しかし、RNNエンコーダは欠落データや未定義の潜伏変数に問題をもたらすため、最近、ODE-RNNモデルをエンコーダとして使用する遅延ODE-RNNモデルが提案されている。 ラテントODEとラテントODE-RNNはどちらも、勾配問題や爆発的な問題のために訓練が難しい。 この問題を解決するために,本論文の主な貢献は,ODE-LSTM(Long Short-Term Memory)ネットワークをエンコーダとして,Latent ODE-LSTMモデルを用いた新しいLatent ODEに基づく新しいモデルを提案することである。 勾配の増大を制限するため、Norm Gradient Clipping戦略をLatent ODE-LSTMモデルに組み込んだ。 次に, 正規および不規則なサンプリングレートでCTSをモデル化するためのLatent ODE-LSTM(Norm Gradient Clippingなし)の性能評価を行った。 数値実験により、新しいLatent ODE-LSTMはLatent ODE-RNNよりも優れた性能を示し、トレーニング中に消失し爆発する勾配を回避することができる。

関連論文リスト

• Path-minimizing Latent ODEs for improved extrapolation and inference [0.0]
  潜在ODEモデルは動的システムの柔軟な記述を提供するが、外挿と複雑な非線形力学の予測に苦労することがある。 本稿では、時間に依存しない潜在表現を奨励することで、この二分法を利用する。 遅延空間における一般的な変分ペナルティを各システムのパス長の$ell$ペナルティに置き換えることで、モデルは異なる構成のシステムと容易に区別できるデータ表現を学ぶ。 これにより、GRU、RNN、LSTM/デコーダによるベースラインODEモデルと比較して、より高速なトレーニング、より小さなモデル、より正確で長時間の外挿が可能となる。
  論文  参考訳（メタデータ） (2024-10-11T15:50:01Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• Neural Chronos ODE: Unveiling Temporal Patterns and Forecasting Future and Past Trends in Time Series Data [0.0]
  実験結果から,ニューラルCODEはスパイラルのダイナミクスを前後に学習する際に,ニューラルODEよりも優れていた。 CODE-RNN/-GRU/-LSTMとCODE-BiRNN/-BiGRU/-BiLSTMの比較を行った。
  論文  参考訳（メタデータ） (2023-07-03T13:54:50Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)
• Improved Batching Strategy For Irregular Time-Series ODE [0.0]
  本稿では, ODE-RNN 上でのランタイムの改善を, 異なる効率的な戦略を用いて提案する。 実験の結果,データの不規則性に応じてODE-RNNのランタイムを2倍から49倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-12T17:30:02Z)
• On the balance between the training time and interpretability of neural ODE for time series modelling [77.34726150561087]
  本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。 ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。 本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-06-07T13:49:40Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Learning Long-Term Dependencies in Irregularly-Sampled Time Series [16.762335749650717]
  連続時間隠れ状態を持つリカレントニューラルネットワーク(RNN)は、不規則サンプリング時系列のモデリングに自然に適合する。 我々は、標準のRNNと同様、この問題の根底にある理由は、トレーニング中に勾配が消滅または爆発することにあることを証明している。 我々は,その時間連続状態からメモリを分離する長寿命メモリ(LSTM)に基づく新しいアルゴリズムを設計することで,その解を提供する。
  論文  参考訳（メタデータ） (2020-06-08T08:46:58Z)
• Neural Ordinary Differential Equation based Recurrent Neural Network Model [0.7233897166339269]
  微分方程式は ニューラルネットワークの 新たなメンバーだ 本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。 2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。 実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
  論文  参考訳（メタデータ） (2020-05-20T01:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。