論文の概要: Dozerformer: Sequence Adaptive Sparse Transformer for Multivariate Time
Series Forecasting
- arxiv url: http://arxiv.org/abs/2312.06874v1
- Date: Mon, 11 Dec 2023 22:49:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 17:59:38.872856
- Title: Dozerformer: Sequence Adaptive Sparse Transformer for Multivariate Time
Series Forecasting
- Title(参考訳): dozerformer: 多変量時系列予測のためのシーケンス適応スパーストランス
- Authors: Yifan Zhang, Rui Wu, Sergiu M. Dascalu, Frederick C. Harris Jr
- Abstract要約: 3つのスパース成分からなるドーザー注意機構を提案する。
これらのコンポーネントは、局所性、季節性、グローバルな時間的依存関係を含む、MSSデータの本質的な属性をキャプチャするために設計されている。
MTS予測タスクに対するDozer Attentionメカニズムを取り入れたDozerformer Frameworkを提案する。
- 参考スコア(独自算出の注目度): 8.739572744117634
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transformers have achieved remarkable performance in multivariate time
series(MTS) forecasting due to their capability to capture long-term
dependencies. However, the canonical attention mechanism has two key
limitations: (1) its quadratic time complexity limits the sequence length, and
(2) it generates future values from the entire historical sequence. To address
this, we propose a Dozer Attention mechanism consisting of three sparse
components: (1) Local, each query exclusively attends to keys within a
localized window of neighboring time steps. (2) Stride, enables each query to
attend to keys at predefined intervals. (3) Vary, allows queries to selectively
attend to keys from a subset of the historical sequence. Notably, the size of
this subset dynamically expands as forecasting horizons extend. Those three
components are designed to capture essential attributes of MTS data, including
locality, seasonality, and global temporal dependencies. Additionally, we
present the Dozerformer Framework, incorporating the Dozer Attention mechanism
for the MTS forecasting task. We evaluated the proposed Dozerformer framework
with recent state-of-the-art methods on nine benchmark datasets and confirmed
its superior performance. The code will be released after the manuscript is
accepted.
- Abstract(参考訳): 多変量時系列(MTS)予測では,長期依存関係をキャプチャする能力により,トランスフォーマーの性能が著しく向上した。
しかし、標準的注意機構には2つの重要な制限がある: (1) 二次時間の複雑さはシーケンスの長さを制限し、(2) 履歴列全体から将来の値を生成する。
そこで本稿では,(1)局所的,各クエリが隣接時間ステップのローカライズウィンドウ内のキーのみに応答する,3つのスパースコンポーネントからなるドーザーアテンション機構を提案する。
2) ストライドにより、各クエリは予め定義された間隔でキーに出席できる。
(3) Varyは、クエリが履歴シーケンスのサブセットから選択的にキーに出席することを可能にする。
特に、この部分集合のサイズは予測地平線が広がるにつれて動的に拡大する。
これら3つのコンポーネントは、局所性、季節性、グローバル時間依存性など、MSSデータの本質的な属性をキャプチャするために設計されている。
さらに,MTS予測タスクに対するDozer Attentionメカニズムを取り入れたDozerformer Frameworkを提案する。
提案するdozerformerフレームワークを9つのベンチマークデータセットで最新の最先端手法で評価し,その優れた性能を確認した。
原稿が受理された後、コードは解放される。
関連論文リスト
- ConvTimeNet: A Deep Hierarchical Fully Convolutional Model for
Multivariate Time Series Analysis [8.560776357590088]
ConvTimeNetは、時系列解析のための汎用モデルとして設計された、新しい階層的完全畳み込みネットワークである。
結果は、ほとんどの状況において、有効性という点で、一貫して強いベースラインを上回りました。
論文 参考訳(メタデータ) (2024-03-03T12:05:49Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳(メタデータ) (2023-03-01T08:33:16Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Continuous-time convolutions model of event sequences [53.36665135225617]
イベントシーケンスデータの巨大なサンプルは、eコマース、ヘルスケア、ファイナンスなど、さまざまなドメインで発生します。
利用可能なデータの量とクライアント毎のイベントシーケンスの長さは典型的には大きいため、長期的なモデリングが必要である。
時間内の事象の一様発生に適した連続畳み込みニューラルネットワークに基づくCOTIC法を提案する。
論文 参考訳(メタデータ) (2023-02-13T10:34:51Z) - Triformer: Triangular, Variable-Specific Attentions for Long Sequence
Multivariate Time Series Forecasting--Full Version [50.43914511877446]
本稿では,高い効率と精度を確保するために,三角形,可変特性に着目した注意点を提案する。
我々はTriformerが精度と効率の両方で最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2022-04-28T20:41:49Z) - Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。
当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。
単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
論文 参考訳(メタデータ) (2021-10-26T20:41:19Z) - Bayesian Feature Selection in Joint Quantile Time Series Analysis [1.2419096638953384]
本研究では,高次元結合量子時系列解析における特徴選択のための一般ベイズ次元削減手法を提案する。
QFSTSモデルは一般的な構造時系列モデルであり、各コンポーネントは時系列モデリングに付加的な寄与をもたらす。
QFSTSモデルは、特徴選択、パラメータ推定、予測において優れた性能を有する。
論文 参考訳(メタデータ) (2020-10-04T18:56:34Z) - Cluster-Former: Clustering-based Sparse Transformer for Long-Range
Dependency Encoding [90.77031668988661]
Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。
提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。
実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-09-13T22:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。