論文の概要: Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models
- arxiv url: http://arxiv.org/abs/2406.04320v1
- Date: Thu, 6 Jun 2024 17:58:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 13:20:50.749006
- Title: Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models
- Title（参考訳）: Chimera: 2次元状態空間モデルによる多変量時系列を効果的にモデル化する
- Authors: Ali Behrouz, Michele Santacatterina, Ramin Zabih,
- Abstract要約: State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。
本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。
実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
- 参考スコア（独自算出の注目度）: 5.37935922811333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.
- Abstract（参考訳）: 多変量時系列のモデリングは、医療から金融市場まで幅広いアプリケーションにおいて確立された問題である。
従来の状態空間モデル(SSM)は、線形依存を表現するための単純で表現力があるため、一変量時系列モデリングの古典的なアプローチである。
しかし、基本的には非線形依存関係をキャプチャする表現力に制限があり、実際は遅く、変数間の情報フローをモデル化できない。
近年のSSMの表現力を深層構造で改善しようとする試みにもかかわらず、既存の手法は単変量時系列に制限されるか、複雑なパターン(季節パターンなど)をモデル化できないか、変数と時間次元の依存関係を動的にモデル化できないか、入力非依存である。
本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。
複雑な2次元リカレンスの効率を向上させるために,新しい2次元並列選択的スキャンを用いて高速トレーニングを行う。
さらに,2次元SSMの空間的症例として,マンバとマンバ-2を提示し,考察した。
実験により,ECGおよび音声時系列分類,長期・短期時系列予測,時系列異常検出など,多種多様なベンチマークにおいて,Chimeraの優れた性能を示した。
関連論文リスト
- Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。
本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。
我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
論文 参考訳（メタデータ） (2024-07-19T11:12:08Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。
我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。
提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
論文 参考訳（メタデータ） (2024-06-06T05:27:33Z) - Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。
本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。
パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
論文 参考訳（メタデータ） (2024-05-25T17:42:40Z) - Multi-Modality Spatio-Temporal Forecasting via Self-Supervised Learning [11.19088022423885]
そこで本稿では,MoSSL を利用した新しい学習フレームワークを提案する。
2つの実世界のMOSTデータセットの結果は、最先端のベースラインと比較して、我々のアプローチの優位性を検証する。
論文 参考訳（メタデータ） (2024-05-06T08:24:06Z) - CATS: Enhancing Multivariate Time Series Forecasting by Constructing
Auxiliary Time Series as Exogenous Variables [9.95711569148527]
本稿では,2次元時間・コンテキストアテンション機構のように機能する補助時間系列(CATS)を構築する手法を提案する。
基本2層をコア予測器として用いながら、CATSは最先端を達成し、従来の多変量モデルと比較して複雑性とパラメータを著しく低減する。
論文 参考訳（メタデータ） (2024-03-04T01:52:40Z) - PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from
the perspective of partial differential equations [49.80959046861793]
本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。
7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
論文 参考訳（メタデータ） (2024-02-25T17:39:44Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳（メタデータ） (2022-09-01T10:46:09Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。
具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。
そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
論文 参考訳（メタデータ） (2022-02-17T02:17:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。