Fugu-MT 論文翻訳(概要): Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting

論文の概要: Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting

arxiv url: http://arxiv.org/abs/2405.16312v2
Date: Sun, 14 Jul 2024 14:40:20 GMT
ステータス: 処理完了
システム内更新日: 2024-07-17 00:36:09.263290
Title: Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting
Title（参考訳）: Time-SSM: 時系列予測のための状態空間モデルの簡素化と統一
Authors: Jiaxi Hu, Disen Lan, Ziyu Zhou, Qingsong Wen, Yuxuan Liang,
Abstract要約: 状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
参考スコア（独自算出の注目度）: 22.84798547604491
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: State Space Models (SSMs) have emerged as a potent tool in sequence modeling tasks in recent years. These models approximate continuous systems using a set of basis functions and discretize them to handle input data, making them well-suited for modeling time series data collected at specific frequencies from continuous systems. Despite its potential, the application of SSMs in time series forecasting remains underexplored, with most existing models treating SSMs as a black box for capturing temporal or channel dependencies. To address this gap, this paper proposes a novel theoretical framework termed Dynamic Spectral Operator, offering more intuitive and general guidance on applying SSMs to time series data. Building upon our theory, we introduce Time-SSM, a novel SSM-based foundation model with only one-seventh of the parameters compared to Mamba. Various experiments validate both our theoretical framework and the superior performance of Time-SSM.
Abstract（参考訳）: 状態空間モデル(SSM)は近年,シーケンスモデリングタスクにおいて強力なツールとして登場している。これらのモデルは、一連の基底関数を用いて連続系を近似し、それらを離散化して入力データを処理し、連続系から特定の周波数で収集された時系列データをモデル化するのに適している。その可能性にもかかわらず、時系列予測におけるSSMの適用は未定であり、既存のモデルでは、SSMを時間的またはチャネル依存性をキャプチャするためのブラックボックスとして扱う。そこで本研究では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。この理論に基づいて,Mambaと比較してパラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介した。様々な実験により、我々の理論的枠組みと Time-SSM の優れた性能が検証された。

関連論文リスト

Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
論文参考訳（メタデータ） (2024-10-14T13:01:11Z)
Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
論文参考訳（メタデータ） (2024-06-06T17:58:09Z)
HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
論文参考訳（メタデータ） (2024-05-22T20:20:14Z)
State Space Models as Foundation Models: A Control Theoretic Overview [3.3222241150972356]
近年、ディープニューラルネットワークアーキテクチャにおける線形状態空間モデル(SSM)の統合への関心が高まっている。本論文は、制御理論者のためのSSMベースのアーキテクチャの穏やかな導入を目的としたものである。もっとも成功したSSM提案の体系的なレビューを提供し、コントロール理論の観点から主要な特徴を強調している。
論文参考訳（メタデータ） (2024-03-25T16:10:47Z)
PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
論文参考訳（メタデータ） (2024-02-25T17:39:44Z)
Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-02-18T05:35:01Z)
Efficient Exploration in Continuous-time Model-based Reinforcement Learning [37.14026153342745]
強化学習アルゴリズムは典型的には離散時間力学を考察するが、基礎となるシステムは時間的に連続していることが多い。連続時間力学を表すモデルに基づく強化学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-30T15:04:40Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
Neural Continuous-Discrete State Space Models for Irregularly-Sampled Time Series [18.885471782270375]
NCDSSMは補助変数を用いて力学からの認識をアンタングルし、補助変数のみに償却推論を必要とする。本稿では、潜在力学の3つのフレキシブルパラメータ化と、推論中の動的状態の辺りを生かした効率的な学習目標を提案する。複数のベンチマークデータセットの実証結果は、既存のモデルよりもNCDSSMの計算性能と予測性能が改善されたことを示している。
論文参考訳（メタデータ） (2023-01-26T18:45:04Z)
Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting [13.441945545904504]
スケーラブルな時系列事前学習モデル(STEP)によりSTGNNが拡張される新しいフレームワークを提案する。具体的には、非常に長期の歴史時系列から時間パターンを効率的に学習するための事前学習モデルを設計する。我々のフレームワークは下流のSTGNNを著しく強化することができ、事前学習モデルは時間パターンを適切にキャプチャする。
論文参考訳（メタデータ） (2022-06-18T04:24:36Z)
Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。 MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。 MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
論文参考訳（メタデータ） (2021-02-23T05:23:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。