Fugu-MT 論文翻訳(概要): UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting

論文の概要: UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting

arxiv url: http://arxiv.org/abs/2406.04975v1
Date: Fri, 7 Jun 2024 14:39:28 GMT
ステータス: 処理完了
システム内更新日: 2024-06-10 13:41:57.382909
Title: UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting
Title（参考訳）: UniTST:多変量時系列予測のための系列間依存と系列内依存を効果的にモデル化する
Authors: Juncheng Liu, Chenghao Liu, Gerald Woo, Yiwei Wang, Bryan Hooi, Caiming Xiong, Doyen Sahoo,
Abstract要約: フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
参考スコア（独自算出の注目度）: 98.12558945781693
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformer-based models have emerged as powerful tools for multivariate time series forecasting (MTSF). However, existing Transformer models often fall short of capturing both intricate dependencies across variate and temporal dimensions in MTS data. Some recent models are proposed to separately capture variate and temporal dependencies through either two sequential or parallel attention mechanisms. However, these methods cannot directly and explicitly learn the intricate inter-series and intra-series dependencies. In this work, we first demonstrate that these dependencies are very important as they usually exist in real-world data. To directly model these dependencies, we propose a transformer-based model UniTST containing a unified attention mechanism on the flattened patch tokens. Additionally, we add a dispatcher module which reduces the complexity and makes the model feasible for a potentially large number of variates. Although our proposed model employs a simple architecture, it offers compelling performance as shown in our extensive experiments on several datasets for time series forecasting.
Abstract（参考訳）: トランスフォーマーベースのモデルは、多変量時系列予測(MTSF)のための強力なツールとして登場した。しかし、既存のTransformerモデルは、MSSデータにおける可変次元と時間次元の両方の複雑な依存関係をキャプチャできない場合が多い。最近のモデルでは、2つの逐次的または並列的な注意機構によって、変数と時間的依存関係を別々に捉えることが提案されている。しかし、これらの手法は、複雑なシリーズ間およびシリーズ内依存関係を直接的かつ明示的に学習することはできない。この研究で最初に、これらの依存関係が現実のデータに通常存在するため、非常に重要であることを実証する。これらの依存関係を直接モデル化するために、フラット化されたパッチトークンに統一された注意機構を含む変換器ベースのUniTSTモデルを提案する。さらに、複雑さを減らし、潜在的に多数の変数に対してモデルを実現可能にするディスパッチモジュールも追加します。提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のための複数のデータセットに関する広範な実験で示されたような,魅力的な性能を提供する。

関連論文リスト

TiVaT: Joint-Axis Attention for Time Series Forecasting with Lead-Lag Dynamics [5.016178141636157]
TiVaT(Time-Variable Transformer)は、時間と変数の依存関係を統合する新しいアーキテクチャである。 TiVaTは、さまざまなデータセットに対して、一貫して強力なパフォーマンスを提供する。これによってTiVaTは、特に複雑で困難な依存関係を特徴とするデータセットの処理において、MTS予測の新しいベンチマークとして位置づけられる。
論文参考訳（メタデータ） (2024-10-02T13:24:24Z)
VE: Modeling Multivariate Time Series Correlation with Variate Embedding [0.4893345190925178]
現在のチャネル非依存(CI)モデルとCI最終射影層を持つモデルは相関を捉えることができない。可変埋め込み(VE)パイプラインを提案し,各変数に対して一意かつ一貫した埋め込みを学習する。 VEパイプラインは、CI最終プロジェクション層を持つ任意のモデルに統合して、多変量予測を改善することができる。
論文参考訳（メタデータ） (2024-09-10T02:49:30Z)
sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
論文参考訳（メタデータ） (2024-08-19T06:23:41Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Multi-scale Transformer Pyramid Networks for Multivariate Time Series Forecasting [8.739572744117634]
短時間の時間依存性をキャプチャする次元不変な埋め込み手法を導入する。本稿では,マルチスケールトランスフォーマーピラミッドネットワーク(MTPNet)を提案する。
論文参考訳（メタデータ） (2023-08-23T06:40:05Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-05-16T07:53:42Z)
Merlion: A Machine Learning Library for Time Series [73.46386700728577]
Merlionは時系列のためのオープンソースの機械学習ライブラリである。モデルの統一インターフェースと、異常検出と予測のためのデータセットを備えている。 Merlionはまた、本番環境でのモデルのライブデプロイメントと再トレーニングをシミュレートするユニークな評価フレームワークも提供する。
論文参考訳（メタデータ） (2021-09-20T02:03:43Z)
Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文参考訳（メタデータ） (2020-02-21T13:48:13Z)
Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows [8.859284959951204]
時系列予測は科学的・工学的な問題の基本である。深層学習法はこの問題に適している。多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
論文参考訳（メタデータ） (2020-02-14T16:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。