論文の概要: Effectively Modeling Time Series with Simple Discrete State Spaces

• arxiv url: http://arxiv.org/abs/2303.09489v1
• Date: Thu, 16 Mar 2023 17:08:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-03-17 14:37:12.278948
• Title: Effectively Modeling Time Series with Simple Discrete State Spaces
• Title（参考訳）: 離散状態空間を用いた実効的時系列モデリング
• Authors: Michael Zhang, Khaled K. Saab, Michael Poli, Tri Dao, Karan Goel, and Christopher R\'e
• Abstract要約: 時系列モデリングのための新しい状態空間時系列アーキテクチャであるSpaceTimeを紹介する。 表現性を示すために,共役行列に基づく新しいSSMパラメータ化を提案する。 長期の地平線予測のために、同伴SSMの「閉ループ」変動を導入する。 効率的なトレーニングと推論のために,前列行列による前列パスのメモリと計算を削減できるアルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 25.046268609133982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series modeling is a well-established problem, which often requires that methods (1) expressively represent complicated dependencies, (2) forecast long horizons, and (3) efficiently train over long sequences. State-space models (SSMs) are classical models for time series, and prior works combine SSMs with deep learning layers for efficient sequence modeling. However, we find fundamental limitations with these prior approaches, proving their SSM representations cannot express autoregressive time series processes. We thus introduce SpaceTime, a new state-space time series architecture that improves all three criteria. For expressivity, we propose a new SSM parameterization based on the companion matrix -- a canonical representation for discrete-time processes -- which enables SpaceTime's SSM layers to learn desirable autoregressive processes. For long horizon forecasting, we introduce a "closed-loop" variation of the companion SSM, which enables SpaceTime to predict many future time-steps by generating its own layer-wise inputs. For efficient training and inference, we introduce an algorithm that reduces the memory and compute of a forward pass with the companion matrix. With sequence length $\ell$ and state-space size $d$, we go from $\tilde{O}(d \ell)$ na\"ively to $\tilde{O}(d + \ell)$. In experiments, our contributions lead to state-of-the-art results on extensive and diverse benchmarks, with best or second-best AUROC on 6 / 7 ECG and speech time series classification, and best MSE on 14 / 16 Informer forecasting tasks. Furthermore, we find SpaceTime (1) fits AR($p$) processes that prior deep SSMs fail on, (2) forecasts notably more accurately on longer horizons than prior state-of-the-art, and (3) speeds up training on real-world ETTh1 data by 73% and 80% relative wall-clock time over Transformers and LSTMs.
• Abstract（参考訳）: 時系列モデリングは確立された問題であり、(1)複雑な依存関係を表現的に表現し、(2)長い地平線を予測し、(3)長いシーケンスを効率的に訓練する必要がある。 状態空間モデル(SSM)は時系列の古典的なモデルであり、先行研究ではSSMとディープラーニング層を組み合わせて効率的なシーケンスモデリングを行う。 しかし,従来の手法では,SSM表現が自己回帰時系列過程を表現できないという根本的な制約がある。 そこで我々は,3つの基準をすべて改善した新しい状態空間時系列アーキテクチャであるSpaceTimeを導入する。 本研究では,離散時間プロセスの標準表現であるコンパニオン行列に基づく新しいSSMパラメータ化を提案し,SpaceTimeのSSM層が望ましい自己回帰過程を学習できるようにする。 ロングホライズン予測には,各層毎の入力を生成することで,時空が将来の多くの時間ステップを予測できるコンパニオンssmの「閉ループ」変動を導入する。 効率的なトレーニングと推論のために,フォワードパスのメモリ削減と計算をコンパニオン行列で実現するアルゴリズムを提案する。 シーケンス長 $\ell$ と状態空間サイズ $d$ では、$\tilde{O}(d \ell)$ na\ から $\tilde{O}(d + \ell)$ へ移行します。 実験では,6/7ECGのAUROC,音声時系列分類のAUROC,14/16 Informer予測タスクのMSEなど,多種多様なベンチマークにおける最先端の成果が得られた。 さらに,(1)深部ssmが故障する前のar($p$)プロセスに適合する,(2)最新技術よりも長い地平線で予測する,(3)リアルタイムetth1データのトレーニングをトランスフォーマーやlstmよりも73%,80%高速化する,などを見出した。

関連論文リスト

• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)
• Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。 バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
  状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。 本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。 パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
  論文  参考訳（メタデータ） (2024-05-25T17:42:40Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
  ConvS5は、長距離時間モデリングのための効率的な変種である。 トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-10-30T16:11:06Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• P-STMO: Pre-Trained Spatial Temporal Many-to-One Model for 3D Human Pose Estimation [78.83305967085413]
  本稿では,2次元から3次元のポーズ推定作業のためのP-STMOモデルを提案する。 提案手法は,パラメータが少なく,計算オーバーヘッドが少なく,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-03-15T04:00:59Z)
• Efficiently Modeling Long Sequences with Structured State Spaces [15.456254157293836]
  本稿では,基本状態空間モデルに対する新しいパラメータ化に基づく新しいシーケンスモデルを提案する。 S4は、(i)データ拡張や補助損失を伴わないシーケンシャルCIFAR-10での91%の精度を含む、より大規模な2次元ResNetと同等の、さまざまな確立されたベンチマークで強力な実験結果を得る。
  論文  参考訳（メタデータ） (2021-10-31T03:32:18Z)
• Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers [21.09321438439848]
  一般化する制御系にインスパイアされた単純なシーケンスモデルを導入する。 LSSLモデルは上記の3つのモデルのファミリーと密接な関係を示し、その強みを継承する。 例えば、畳み込みを連続時間に一般化し、共通のRNN-1を説明し、時間スケール適応のようなNDEの特徴を共有する。
  論文  参考訳（メタデータ） (2021-10-26T19:44:53Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。