論文の概要: Generative time series models using Neural ODE in Variational
Autoencoders
- arxiv url: http://arxiv.org/abs/2201.04630v1
- Date: Wed, 12 Jan 2022 14:38:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-15 04:08:43.370636
- Title: Generative time series models using Neural ODE in Variational
Autoencoders
- Title(参考訳): 変分オートエンコーダにおけるニューラルodeを用いた生成時系列モデル
- Authors: M. L. Garsdal, V. S{\o}gaard, S. M. S{\o}rensen
- Abstract要約: 生成時系列モデリングのための変分オートエンコーダ設定にニューラル正規微分方程式を実装した。
開発と研究を容易にするために、コードに対するオブジェクト指向のアプローチが採られた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we implement Neural Ordinary Differential Equations in a
Variational Autoencoder setting for generative time series modeling. An
object-oriented approach to the code was taken to allow for easier development
and research and all code used in the paper can be found here:
https://github.com/simonmoesorensen/neural-ode-project
The results were initially recreated and the reconstructions compared to a
baseline Long-Short Term Memory AutoEncoder. The model was then extended with a
LSTM encoder and challenged by more complex data consisting of time series in
the form of spring oscillations. The model showed promise, and was able to
reconstruct true trajectories for all complexities of data with a smaller RMSE
than the baseline model. However, it was able to capture the dynamic behavior
of the time series for known data in the decoder but was not able to produce
extrapolations following the true trajectory very well for any of the
complexities of spring data. A final experiment was carried out where the model
was also presented with 68 days of solar power production data, and was able to
reconstruct just as well as the baseline, even when very little data is
available.
Finally, the models training time was compared to the baseline. It was found
that for small amounts of data the NODE method was significantly slower at
training than the baseline, while for larger amounts of data the NODE method
would be equal or faster at training.
The paper is ended with a future work section which describes the many
natural extensions to the work presented in this paper, with examples being
investigating further the importance of input data, including extrapolation in
the baseline model or testing more specific model setups.
- Abstract(参考訳): 本稿では,生成時系列モデリングのための変分オートエンコーダ設定にニューラル正規微分方程式を実装した。
https://github.com/simonmoesorensen/neural-ode-project 結果が最初に再現され、ベースラインのLong-Short Term Memory AutoEncoderと比較して再構築された。
このモデルはLSTMエンコーダで拡張され、バネ振動の形で時系列からなるより複雑なデータに挑戦された。
このモデルはpromiseを示し、ベースラインモデルよりも小さいrmseで全ての複雑なデータに対する真の軌道を再構築することができた。
しかし、デコーダ内の既知のデータに対する時系列の動的な挙動をキャプチャすることはできたが、springデータのあらゆる複雑さに対して、真の軌道に従う外挿を生成できなかった。
最終的な実験では、68日間のソーラー発電データも提示され、ごくわずかなデータでもベースラインと同様に再構築することができた。
最後に,モデルのトレーニング時間をベースラインと比較した。
その結果、少量のデータでは、ノードメソッドはベースラインよりもトレーニングが著しく遅く、より多くのデータでは、ノードメソッドはトレーニング時に等しく、あるいは高速であることが判明した。
本論文は,本論文における作業に対する多くの自然な拡張を記述した将来的な作業セクションで終了し,ベースラインモデルの補間や,より具体的なモデル設定のテストなど,入力データの重要性についてさらに検討する例を示した。
関連論文リスト
- Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Generative Modeling of Regular and Irregular Time Series Data via
Koopman VAEs [53.91784369229405]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
以上の結果から,KVAEは,合成および実世界の時系列生成ベンチマークにおいて,最先端のGAN法およびVAE法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - MADS: Modulated Auto-Decoding SIREN for time series imputation [9.673093148930874]
我々は,暗黙のニューラル表現に基づく時系列計算のための新しい自動デコードフレームワークMADSを提案する。
実世界の2つのデータセット上で本モデルを評価し,時系列計算における最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-03T09:08:47Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-20T22:25:47Z) - A data filling methodology for time series based on CNN and (Bi)LSTM
neural networks [0.0]
イタリア・ボルツァーノの監視アパートから得られた時系列データギャップを埋めるための2つのDeep Learningモデルを開発した。
提案手法は, 変動するデータの性質を把握し, 対象時系列の再構成に優れた精度を示す。
論文 参考訳(メタデータ) (2022-04-21T09:40:30Z) - Deep Generative model with Hierarchical Latent Factors for Time Series
Anomaly Detection [40.21502451136054]
本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。
トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。
提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-02-15T17:19:44Z) - Multimodal Meta-Learning for Time Series Regression [3.135152720206844]
メタラーニングを用いてモデルパラメータを新しい短史時系列に迅速に適応させるアイデアについて検討する。
提案手法は,12実験中9実験において,少ないデータでTSRを学習し,ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-08-05T20:50:18Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z) - Forecasting Industrial Aging Processes with Machine Learning Methods [0.0]
我々は、従来のステートレスモデルとより複雑なリカレントニューラルネットワークを比較して、幅広いデータ駆動モデルを評価する。
以上の結果から,リカレントモデルでは,より大きなデータセットでトレーニングした場合,ほぼ完璧な予測が得られた。
論文 参考訳(メタデータ) (2020-02-05T13:06:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。