論文の概要: Effectively Modeling Time Series with Simple Discrete State Spaces

• arxiv url: http://arxiv.org/abs/2303.09489v1
• Date: Thu, 16 Mar 2023 17:08:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 14:37:12.278948
• Title: Effectively Modeling Time Series with Simple Discrete State Spaces
• Title（参考訳）: 離散状態空間を用いた実効的時系列モデリング
• Authors: Michael Zhang, Khaled K. Saab, Michael Poli, Tri Dao, Karan Goel, and Christopher R\'e
• Abstract要約: 時系列モデリングのための新しい状態空間時系列アーキテクチャであるSpaceTimeを紹介する。 表現性を示すために,共役行列に基づく新しいSSMパラメータ化を提案する。 長期の地平線予測のために、同伴SSMの「閉ループ」変動を導入する。 効率的なトレーニングと推論のために,前列行列による前列パスのメモリと計算を削減できるアルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 25.046268609133982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series modeling is a well-established problem, which often requires that methods (1) expressively represent complicated dependencies, (2) forecast long horizons, and (3) efficiently train over long sequences. State-space models (SSMs) are classical models for time series, and prior works combine SSMs with deep learning layers for efficient sequence modeling. However, we find fundamental limitations with these prior approaches, proving their SSM representations cannot express autoregressive time series processes. We thus introduce SpaceTime, a new state-space time series architecture that improves all three criteria. For expressivity, we propose a new SSM parameterization based on the companion matrix -- a canonical representation for discrete-time processes -- which enables SpaceTime's SSM layers to learn desirable autoregressive processes. For long horizon forecasting, we introduce a "closed-loop" variation of the companion SSM, which enables SpaceTime to predict many future time-steps by generating its own layer-wise inputs. For efficient training and inference, we introduce an algorithm that reduces the memory and compute of a forward pass with the companion matrix. With sequence length $\ell$ and state-space size $d$, we go from $\tilde{O}(d \ell)$ na\"ively to $\tilde{O}(d + \ell)$. In experiments, our contributions lead to state-of-the-art results on extensive and diverse benchmarks, with best or second-best AUROC on 6 / 7 ECG and speech time series classification, and best MSE on 14 / 16 Informer forecasting tasks. Furthermore, we find SpaceTime (1) fits AR($p$) processes that prior deep SSMs fail on, (2) forecasts notably more accurately on longer horizons than prior state-of-the-art, and (3) speeds up training on real-world ETTh1 data by 73% and 80% relative wall-clock time over Transformers and LSTMs.
• Abstract（参考訳）: 時系列モデリングは確立された問題であり、(1)複雑な依存関係を表現的に表現し、(2)長い地平線を予測し、(3)長いシーケンスを効率的に訓練する必要がある。 状態空間モデル(SSM)は時系列の古典的なモデルであり、先行研究ではSSMとディープラーニング層を組み合わせて効率的なシーケンスモデリングを行う。 しかし,従来の手法では,SSM表現が自己回帰時系列過程を表現できないという根本的な制約がある。 そこで我々は,3つの基準をすべて改善した新しい状態空間時系列アーキテクチャであるSpaceTimeを導入する。 本研究では,離散時間プロセスの標準表現であるコンパニオン行列に基づく新しいSSMパラメータ化を提案し,SpaceTimeのSSM層が望ましい自己回帰過程を学習できるようにする。 ロングホライズン予測には,各層毎の入力を生成することで,時空が将来の多くの時間ステップを予測できるコンパニオンssmの「閉ループ」変動を導入する。 効率的なトレーニングと推論のために,フォワードパスのメモリ削減と計算をコンパニオン行列で実現するアルゴリズムを提案する。 シーケンス長 $\ell$ と状態空間サイズ $d$ では、$\tilde{O}(d \ell)$ na\ から $\tilde{O}(d + \ell)$ へ移行します。 実験では,6/7ECGのAUROC,音声時系列分類のAUROC,14/16 Informer予測タスクのMSEなど,多種多様なベンチマークにおける最先端の成果が得られた。 さらに,(1)深部ssmが故障する前のar($p$)プロセスに適合する,(2)最新技術よりも長い地平線で予測する,(3)リアルタイムetth1データのトレーニングをトランスフォーマーやlstmよりも73%,80%高速化する,などを見出した。

関連論文リスト

• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Efficient Long Sequence Modeling via State Space Augmented Transformer [92.74707853711374]
  我々はSPADE($underlinetextbfS$tate sunderlinetextbfP$ace)を提案する。 我々は,SPADEの底層にSSMを付加し,他の層に対して効率的な局所的注意法を適用した。 Long Range Arenaベンチマークと言語モデリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-15T20:51:27Z)
• P-STMO: Pre-Trained Spatial Temporal Many-to-One Model for 3D Human Pose Estimation [78.83305967085413]
  本稿では,2次元から3次元のポーズ推定作業のためのP-STMOモデルを提案する。 提案手法は,パラメータが少なく,計算オーバーヘッドが少なく,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-03-15T04:00:59Z)
• Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
  動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。 具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。 そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
  論文  参考訳（メタデータ） (2022-02-17T02:17:31Z)
• Efficiently Modeling Long Sequences with Structured State Spaces [15.456254157293836]
  本稿では,基本状態空間モデルに対する新しいパラメータ化に基づく新しいシーケンスモデルを提案する。 S4は、(i)データ拡張や補助損失を伴わないシーケンシャルCIFAR-10での91%の精度を含む、より大規模な2次元ResNetと同等の、さまざまな確立されたベンチマークで強力な実験結果を得る。
  論文  参考訳（メタデータ） (2021-10-31T03:32:18Z)
• Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers [21.09321438439848]
  一般化する制御系にインスパイアされた単純なシーケンスモデルを導入する。 LSSLモデルは上記の3つのモデルのファミリーと密接な関係を示し、その強みを継承する。 例えば、畳み込みを連続時間に一般化し、共通のRNN-1を説明し、時間スケール適応のようなNDEの特徴を共有する。
  論文  参考訳（メタデータ） (2021-10-26T19:44:53Z)
• Time Series Forecasting Using Manifold Learning [6.316185724124034]
  本研究では,高次元時系列の予測のための多様体学習に基づく3層数値フレームワークを提案する。 最初のステップでは、非線形多様体学習アルゴリズムを用いて、時系列を低次元空間に埋め込む。 2番目のステップでは、埋め込み力学を予測するために、多様体上の低次回帰モデルを構築する。 最後のステップでは、埋め込み時系列を元の高次元空間に戻します。
  論文  参考訳（メタデータ） (2021-10-07T17:09:59Z)
• TE-ESN: Time Encoding Echo State Network for Prediction Based on Irregularly Sampled Time Series Data [6.221375620565451]
  不規則サンプリング時系列(ISTS)に基づく予測は、現実世界の応用において広く懸念されている。 Time Echo State Network(TE-ESN)という新しいモデル構造を作成します。 ISTSデータを処理できる最初のESNsベースのモデルである。 1つのカオスシステムと3つの実世界のデータセットの実験は、TE-ESNがすべてのベースラインよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2021-05-02T08:00:46Z)
• Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition [79.33539539956186]
  本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。 これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-31T11:28:25Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。