論文の概要: Generative time series models using Neural ODE in Variational
Autoencoders
- arxiv url: http://arxiv.org/abs/2201.04630v1
- Date: Wed, 12 Jan 2022 14:38:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-15 04:08:43.370636
- Title: Generative time series models using Neural ODE in Variational
Autoencoders
- Title(参考訳): 変分オートエンコーダにおけるニューラルodeを用いた生成時系列モデル
- Authors: M. L. Garsdal, V. S{\o}gaard, S. M. S{\o}rensen
- Abstract要約: 生成時系列モデリングのための変分オートエンコーダ設定にニューラル正規微分方程式を実装した。
開発と研究を容易にするために、コードに対するオブジェクト指向のアプローチが採られた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we implement Neural Ordinary Differential Equations in a
Variational Autoencoder setting for generative time series modeling. An
object-oriented approach to the code was taken to allow for easier development
and research and all code used in the paper can be found here:
https://github.com/simonmoesorensen/neural-ode-project
The results were initially recreated and the reconstructions compared to a
baseline Long-Short Term Memory AutoEncoder. The model was then extended with a
LSTM encoder and challenged by more complex data consisting of time series in
the form of spring oscillations. The model showed promise, and was able to
reconstruct true trajectories for all complexities of data with a smaller RMSE
than the baseline model. However, it was able to capture the dynamic behavior
of the time series for known data in the decoder but was not able to produce
extrapolations following the true trajectory very well for any of the
complexities of spring data. A final experiment was carried out where the model
was also presented with 68 days of solar power production data, and was able to
reconstruct just as well as the baseline, even when very little data is
available.
Finally, the models training time was compared to the baseline. It was found
that for small amounts of data the NODE method was significantly slower at
training than the baseline, while for larger amounts of data the NODE method
would be equal or faster at training.
The paper is ended with a future work section which describes the many
natural extensions to the work presented in this paper, with examples being
investigating further the importance of input data, including extrapolation in
the baseline model or testing more specific model setups.
- Abstract(参考訳): 本稿では,生成時系列モデリングのための変分オートエンコーダ設定にニューラル正規微分方程式を実装した。
https://github.com/simonmoesorensen/neural-ode-project 結果が最初に再現され、ベースラインのLong-Short Term Memory AutoEncoderと比較して再構築された。
このモデルはLSTMエンコーダで拡張され、バネ振動の形で時系列からなるより複雑なデータに挑戦された。
このモデルはpromiseを示し、ベースラインモデルよりも小さいrmseで全ての複雑なデータに対する真の軌道を再構築することができた。
しかし、デコーダ内の既知のデータに対する時系列の動的な挙動をキャプチャすることはできたが、springデータのあらゆる複雑さに対して、真の軌道に従う外挿を生成できなかった。
最終的な実験では、68日間のソーラー発電データも提示され、ごくわずかなデータでもベースラインと同様に再構築することができた。
最後に,モデルのトレーニング時間をベースラインと比較した。
その結果、少量のデータでは、ノードメソッドはベースラインよりもトレーニングが著しく遅く、より多くのデータでは、ノードメソッドはトレーニング時に等しく、あるいは高速であることが判明した。
本論文は,本論文における作業に対する多くの自然な拡張を記述した将来的な作業セクションで終了し,ベースラインモデルの補間や,より具体的なモデル設定のテストなど,入力データの重要性についてさらに検討する例を示した。
関連論文リスト
- Approximate Probabilistic Inference for Time-Series Data A Robust Latent Gaussian Model With Temporal Awareness [0.40924476987095715]
本稿では,時間的情報を取得するための確率的生成モデルを提案する。
我々のモデルは、負のログ損失に基づいて損失関数を最小限に抑えるために訓練されている。
実験により、tDLGMは複雑な時系列データを再構成して生成することができ、ノイズや故障データに対して堅牢であることが示された。
論文 参考訳(メタデータ) (2024-11-14T09:38:58Z) - Data-Augmented Predictive Deep Neural Network: Enhancing the extrapolation capabilities of non-intrusive surrogate models [0.5735035463793009]
本稿では、カーネル動的モード分解(KDMD)を用いて、畳み込みオートエンコーダ(CAE)のエンコーダ部が生成する潜伏空間のダイナミクスを進化させる新しいディープラーニングフレームワークを提案する。
KDMD-decoder-extrapolated dataを元のデータセットに追加した後、この拡張データを用いてフィードフォワードディープニューラルネットワークと共にCAEをトレーニングする。
トレーニングされたネットワークは、トレーニング外のパラメータサンプルでトレーニング時間間隔外の将来の状態を予測できる。
論文 参考訳(メタデータ) (2024-10-17T09:26:14Z) - sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。
我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。
我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
論文 参考訳(メタデータ) (2024-08-19T06:23:41Z) - Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。
各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
論文 参考訳(メタデータ) (2024-04-02T21:51:39Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - MADS: Modulated Auto-Decoding SIREN for time series imputation [9.673093148930874]
我々は,暗黙のニューラル表現に基づく時系列計算のための新しい自動デコードフレームワークMADSを提案する。
実世界の2つのデータセット上で本モデルを評価し,時系列計算における最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-03T09:08:47Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-20T22:25:47Z) - Deep Generative model with Hierarchical Latent Factors for Time Series
Anomaly Detection [40.21502451136054]
本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。
トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。
提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-02-15T17:19:44Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。