論文の概要: Deep Latent State Space Models for Time-Series Generation

• arxiv url: http://arxiv.org/abs/2212.12749v1
• Date: Sat, 24 Dec 2022 15:17:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:31:01.703007
• Title: Deep Latent State Space Models for Time-Series Generation
• Title（参考訳）: 時間系列生成のための深部潜時空間モデル
• Authors: Linqi Zhou, Michael Poli, Winnie Xu, Stefano Massaroli, Stefano Ermon
• Abstract要約: 状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 68.45746489575032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Methods based on ordinary differential equations (ODEs) are widely used to build generative models of time-series. In addition to high computational overhead due to explicitly computing hidden states recurrence, existing ODE-based models fall short in learning sequence data with sharp transitions - common in many real-world systems - due to numerical challenges during optimization. In this work, we propose LS4, a generative model for sequences with latent variables evolving according to a state space ODE to increase modeling capacity. Inspired by recent deep state space models (S4), we achieve speedups by leveraging a convolutional representation of LS4 which bypasses the explicit evaluation of hidden states. We show that LS4 significantly outperforms previous continuous-time generative models in terms of marginal distribution, classification, and prediction scores on real-world datasets in the Monash Forecasting Repository, and is capable of modeling highly stochastic data with sharp temporal transitions. LS4 sets state-of-the-art for continuous-time latent generative models, with significant improvement of mean squared error and tighter variational lower bounds on irregularly-sampled datasets, while also being x100 faster than other baselines on long sequences.
• Abstract（参考訳）: 通常の微分方程式(ODE)に基づく手法は、時系列の生成モデルを構築するために広く用いられている。 隠蔽状態の繰り返しを明示的に計算することによる高い計算オーバーヘッドに加えて、既存のODEベースのモデルは、多くの現実世界システムでよくある急激な遷移を伴う学習シーケンスデータに不足している。 本研究では、状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案し、モデリング能力を向上させる。 近年の深層状態空間モデル(s4)に触発されて,隠れた状態の明示的な評価をバイパスする畳み込み表現を活用し,高速化を実現する。 LS4は,モナシュ予測リポジトリにおける実世界のデータセットの残差分布,分類,予測スコアの点で,従来の連続時間生成モデルよりも大幅に優れており,高度確率データを時間的遷移でモデル化することができることを示す。 LS4は、平均二乗誤差と不規則にサンプリングされたデータセットの厳密な変動下限を著しく改善し、また長いシーケンス上の他のベースラインよりもx100高速である。

関連論文リスト

• Functional Latent Dynamics for Irregularly Sampled Time Series Forecasting [5.359176539960004]
  不規則にサンプリングされた時系列は、医療、気候、天文学など、複数の現実世界の応用でしばしば見られる。 機能潜在ダイナミクス(FLD)と呼ばれるモデル群を提案する。 正規微分方程式(ODE)を解く代わりに、モデル内の連続潜時状態を特定するために、常に点が存在する単純な曲線を用いる。
  論文  参考訳（メタデータ） (2024-05-06T15:53:55Z)
• Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
  ConvS5は、長距離時間モデリングのための効率的な変種である。 トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-10-30T16:11:06Z)
• SeqLink: A Robust Neural-ODE Architecture for Modelling Partially Observed Time Series [11.261457967759688]
  シーケンス表現の堅牢性を高めるために設計された,革新的なニューラルアーキテクチャであるSeqLinkを紹介する。 我々はSeqLinkが断続時系列のモデリングを改善し、一貫して最先端のアプローチより優れていることを示した。
  論文  参考訳（メタデータ） (2022-12-07T10:25:59Z)
• Liquid Structural State-Space Models [106.74783377913433]
  Liquid-S4はLong-Range Arenaベンチマークで平均87.32%の性能を達成した。 全生音声コマンド認識では、データセットLiquid-S4は96.78%の精度で、S4と比較してパラメータ数が30%減少している。
  論文  参考訳（メタデータ） (2022-09-26T18:37:13Z)
• Time-series Transformer Generative Adversarial Networks [5.254093731341154]
  本稿では,時系列データに特化して生じる制約について考察し,合成時系列を生成するモデルを提案する。 合成時系列データを生成するモデルには,(1)実列の段階的条件分布を捉えること,(2)実列全体の結合分布を忠実にモデル化すること,の2つの目的がある。 TsT-GANは、Transformerアーキテクチャを活用してデシラタを満足させ、その性能を5つのデータセット上の5つの最先端モデルと比較するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:04:21Z)
• Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection [40.21502451136054]
  本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。 トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。 提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-02-15T17:19:44Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Variational Hyper RNN for Sequence Modeling [69.0659591456772]
  本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。 提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。 提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
  論文  参考訳（メタデータ） (2020-02-24T19:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。