論文の概要: UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2406.04975v1
- Date: Fri, 7 Jun 2024 14:39:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 13:41:57.382909
- Title: UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting
- Title(参考訳): UniTST:多変量時系列予測のための系列間依存と系列内依存を効果的にモデル化する
- Authors: Juncheng Liu, Chenghao Liu, Gerald Woo, Yiwei Wang, Bryan Hooi, Caiming Xiong, Doyen Sahoo,
- Abstract要約: フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
- 参考スコア(独自算出の注目度): 98.12558945781693
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based models have emerged as powerful tools for multivariate time series forecasting (MTSF). However, existing Transformer models often fall short of capturing both intricate dependencies across variate and temporal dimensions in MTS data. Some recent models are proposed to separately capture variate and temporal dependencies through either two sequential or parallel attention mechanisms. However, these methods cannot directly and explicitly learn the intricate inter-series and intra-series dependencies. In this work, we first demonstrate that these dependencies are very important as they usually exist in real-world data. To directly model these dependencies, we propose a transformer-based model UniTST containing a unified attention mechanism on the flattened patch tokens. Additionally, we add a dispatcher module which reduces the complexity and makes the model feasible for a potentially large number of variates. Although our proposed model employs a simple architecture, it offers compelling performance as shown in our extensive experiments on several datasets for time series forecasting.
- Abstract(参考訳): トランスフォーマーベースのモデルは、多変量時系列予測(MTSF)のための強力なツールとして登場した。
しかし、既存のTransformerモデルは、MSSデータにおける可変次元と時間次元の両方の複雑な依存関係をキャプチャできない場合が多い。
最近のモデルでは、2つの逐次的または並列的な注意機構によって、変数と時間的依存関係を別々に捉えることが提案されている。
しかし、これらの手法は、複雑なシリーズ間およびシリーズ内依存関係を直接的かつ明示的に学習することはできない。
この研究で最初に、これらの依存関係が現実のデータに通常存在するため、非常に重要であることを実証する。
これらの依存関係を直接モデル化するために、フラット化されたパッチトークンに統一された注意機構を含む変換器ベースのUniTSTモデルを提案する。
さらに、複雑さを減らし、潜在的に多数の変数に対してモデルを実現可能にするディスパッチモジュールも追加します。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のための複数のデータセットに関する広範な実験で示されたような,魅力的な性能を提供する。
関連論文リスト
- CATS: Enhancing Multivariate Time Series Forecasting by Constructing
Auxiliary Time Series as Exogenous Variables [9.95711569148527]
本稿では,2次元時間・コンテキストアテンション機構のように機能する補助時間系列(CATS)を構築する手法を提案する。
基本2層をコア予測器として用いながら、CATSは最先端を達成し、従来の多変量モデルと比較して複雑性とパラメータを著しく低減する。
論文 参考訳(メタデータ) (2024-03-04T01:52:40Z) - UNITS: A Unified Multi-Task Time Series Model [31.675845788410246]
タスクトークン化を用いたマルチタスク時系列モデルUniTSを導入し,予測および生成タスクを単一モデル内で表現する。
人間の活動センサー、医療、エンジニアリング、ファイナンスドメインにまたがる38のデータセットに対して、UniTSモデルは12の予測モデル、20の分類モデル、18の異常検出モデル、16の計算モデルに対して好意的に機能する。
論文 参考訳(メタデータ) (2024-02-29T21:25:58Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Multi-scale Transformer Pyramid Networks for Multivariate Time Series
Forecasting [8.739572744117634]
短時間の時間依存性をキャプチャする次元不変な埋め込み手法を導入する。
本稿では,マルチスケールトランスフォーマーピラミッドネットワーク(MTPNet)を提案する。
論文 参考訳(メタデータ) (2023-08-23T06:40:05Z) - Client: Cross-variable Linear Integrated Enhanced Transformer for
Multivariate Long-Term Time Series Forecasting [4.004869317957185]
クライアント(Client)は,従来のトランスフォーマーベースモデルと線形モデルの両方に勝る高度なモデルである。
クライアントは、従来の線形モデルとTransformerベースのモデルとを分離した、非線形性とクロス変数の依存関係を組み込んでいる。
論文 参考訳(メタデータ) (2023-05-30T08:31:22Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z) - Merlion: A Machine Learning Library for Time Series [73.46386700728577]
Merlionは時系列のためのオープンソースの機械学習ライブラリである。
モデルの統一インターフェースと、異常検出と予測のためのデータセットを備えている。
Merlionはまた、本番環境でのモデルのライブデプロイメントと再トレーニングをシミュレートするユニークな評価フレームワークも提供する。
論文 参考訳(メタデータ) (2021-09-20T02:03:43Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳(メタデータ) (2020-02-21T13:48:13Z) - Multivariate Probabilistic Time Series Forecasting via Conditioned
Normalizing Flows [8.859284959951204]
時系列予測は科学的・工学的な問題の基本である。
深層学習法はこの問題に適している。
多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
論文 参考訳(メタデータ) (2020-02-14T16:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。