論文の概要: Learning Long-Term Dependencies in Irregularly-Sampled Time Series

• arxiv url: http://arxiv.org/abs/2006.04418v4
• Date: Fri, 4 Dec 2020 17:38:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 00:32:45.883784
• Title: Learning Long-Term Dependencies in Irregularly-Sampled Time Series
• Title（参考訳）: 不規則サンプリング時系列における長期依存性の学習
• Authors: Mathias Lechner and Ramin Hasani
• Abstract要約: 連続時間隠れ状態を持つリカレントニューラルネットワーク(RNN)は、不規則サンプリング時系列のモデリングに自然に適合する。 我々は、標準のRNNと同様、この問題の根底にある理由は、トレーニング中に勾配が消滅または爆発することにあることを証明している。 我々は,その時間連続状態からメモリを分離する長寿命メモリ(LSTM)に基づく新しいアルゴリズムを設計することで,その解を提供する。
• 参考スコア（独自算出の注目度）: 16.762335749650717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) with continuous-time hidden states are a natural fit for modeling irregularly-sampled time series. These models, however, face difficulties when the input data possess long-term dependencies. We prove that similar to standard RNNs, the underlying reason for this issue is the vanishing or exploding of the gradient during training. This phenomenon is expressed by the ordinary differential equation (ODE) representation of the hidden state, regardless of the ODE solver's choice. We provide a solution by designing a new algorithm based on the long short-term memory (LSTM) that separates its memory from its time-continuous state. This way, we encode a continuous-time dynamical flow within the RNN, allowing it to respond to inputs arriving at arbitrary time-lags while ensuring a constant error propagation through the memory path. We call these RNN models ODE-LSTMs. We experimentally show that ODE-LSTMs outperform advanced RNN-based counterparts on non-uniformly sampled data with long-term dependencies. All code and data is available at https://github.com/mlech26l/ode-lstms.
• Abstract（参考訳）: 連続時間隠れ状態を持つリカレントニューラルネットワーク(RNN)は、不規則サンプリング時系列のモデリングに自然に適合する。 しかし、これらのモデルは、入力データが長期依存を持つ場合、困難に直面します。 通常のRNNと同様、この問題の根底にある理由は、トレーニング中に勾配が消滅または爆発することである。 この現象は、ODEソルバの選択に関係なく、隠蔽状態の常微分方程式(ODE)で表される。 我々は,その時間連続状態からメモリを分離する長寿命メモリ(LSTM)に基づく新しいアルゴリズムを設計することで,解を提供する。 これにより、rnn内の連続時間動的流れをエンコードし、メモリパスを通じて一定のエラー伝搬を確保しながら、任意のタイムラグに到着する入力に応答することができる。 我々はこれらのRNNモデルをODE-LSTMと呼ぶ。 ODE-LSTMは, 長期依存性のある一様でないサンプルデータに対して, 高度なRNNベースのデータよりも優れていることを示す。 すべてのコードとデータはhttps://github.com/mlech26l/ode-lstmsで入手できる。

関連論文リスト

• Neural Differential Recurrent Neural Network with Adaptive Time Steps [11.999568208578799]
  隠れ状態の時間的発達を表すためにニューラルODEを用いるRNN-ODE-Adapと呼ばれるRNNベースのモデルを提案する。 我々は、データの変化の急激さに基づいて時間ステップを適応的に選択し、「スパイクのような」時系列に対してより効率的にモデルを訓練する。
  論文  参考訳（メタデータ） (2023-06-02T16:46:47Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)
• Improved Batching Strategy For Irregular Time-Series ODE [0.0]
  本稿では, ODE-RNN 上でのランタイムの改善を, 異なる効率的な戦略を用いて提案する。 実験の結果,データの不規則性に応じてODE-RNNのランタイムを2倍から49倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-12T17:30:02Z)
• On the balance between the training time and interpretability of neural ODE for time series modelling [77.34726150561087]
  本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。 ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。 本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-06-07T13:49:40Z)
• Task-Synchronized Recurrent Neural Networks [0.0]
  リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。 我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。 我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
  論文  参考訳（メタデータ） (2022-04-11T15:27:40Z)
• Piecewise-constant Neural ODEs [41.116259317376475]
  我々はこれらの問題を緩和するためにニューラルODEに一括的に近似する。 我々のモデルは、Euler統合によって正確に統合することができ、対応するRNNやODE-RNNモデルよりも3～20倍少ないステップで自己回帰サンプルを生成することができる。
  論文  参考訳（メタデータ） (2021-06-11T21:46:55Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。