論文の概要: Sparse Transformer with Local and Seasonal Adaptation for Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2312.06874v2
• Date: Mon, 15 Jul 2024 20:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 23:50:29.455150
• Title: Sparse Transformer with Local and Seasonal Adaptation for Multivariate Time Series Forecasting
• Title（参考訳）: 多変量時系列予測のための局所・季節適応型スパース変圧器
• Authors: Yifan Zhang, Rui Wu, Sergiu M. Dascalu, Frederick C. Harris Jr,
• Abstract要約: 3つのスパース成分からなるドーザー注意機構を提案する。 これらのコンポーネントは、局所性、季節性、グローバルな時間的依存関係を含む、MSSデータの本質的な属性をキャプチャするために設計されている。 MTS予測タスクに対するDozer Attentionメカニズムを取り入れたDozerformer Frameworkを提案する。
• 参考スコア（独自算出の注目度）: 8.000134983886742
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformers have achieved remarkable performance in multivariate time series(MTS) forecasting due to their capability to capture long-term dependencies. However, the canonical attention mechanism has two key limitations: (1) its quadratic time complexity limits the sequence length, and (2) it generates future values from the entire historical sequence. To address this, we propose a Dozer Attention mechanism consisting of three sparse components: (1) Local, each query exclusively attends to keys within a localized window of neighboring time steps. (2) Stride, enables each query to attend to keys at predefined intervals. (3) Vary, allows queries to selectively attend to keys from a subset of the historical sequence. Notably, the size of this subset dynamically expands as forecasting horizons extend. Those three components are designed to capture essential attributes of MTS data, including locality, seasonality, and global temporal dependencies. Additionally, we present the Dozerformer Framework, incorporating the Dozer Attention mechanism for the MTS forecasting task. We evaluated the proposed Dozerformer framework with recent state-of-the-art methods on nine benchmark datasets and confirmed its superior performance. The experimental results indicate that excluding a subset of historical time steps from the time series forecasting process does not compromise accuracy while significantly improving efficiency. Code is available at https://github.com/GRYGY1215/Dozerformer.
• Abstract（参考訳）: 多変量時系列(MTS)予測では,長期依存関係をキャプチャする能力により,トランスフォーマーの性能が著しく向上した。 しかしながら、標準的注意機構には、(1)その2次時間複雑性がシーケンスの長さを制限し、(2)歴史的シーケンス全体から将来の値を生成するという2つの重要な制限がある。 そこで本稿では,(1)ローカルな各クエリは,近隣の時間ステップの局所的なウィンドウ内のキーにのみ依存する,という3つのスパースコンポーネントで構成されるDozer Attention機構を提案する。 2) ストライドにより、各クエリは予め定義された間隔でキーに出席できる。 (3) Varyは、クエリが履歴シーケンスのサブセットから選択的にキーに出席することを可能にする。 特に、この部分集合のサイズは予測地平線が広がるにつれて動的に拡大する。 これら3つのコンポーネントは、局所性、季節性、グローバル時間依存性など、MSSデータの本質的な属性をキャプチャするために設計されている。 さらに,MTS予測タスクに対するDozer Attention機構を取り入れたDozerformer Frameworkを提案する。 提案したDozerformerフレームワークを,9つのベンチマークデータセット上で最新の最先端手法を用いて評価し,その優れた性能を確認した。 実験結果から,時系列予測プロセスから履歴時間ステップのサブセットを除いた場合,精度を損なうことなく,効率を大幅に向上することが示唆された。 コードはhttps://github.com/GRYGY1215/Dozerformer.comで入手できる。

関連論文リスト

• PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting [21.033660755921737]
  時間予測は、高次元のデータと長期の依存関係によってしばしば複雑になる、さまざまな領域において重要な課題である。 本稿では,パラメータ共有(PS)と空間時間注意(SegAtt)という,時系列予測のための新しいトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-03T03:04:00Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Respecting Time Series Properties Makes Deep Time Series Forecasting Perfect [3.830797055092574]
  時系列予測モデルにおいて、時間的特徴をどのように扱うかが重要な問題である。 本稿では,3つの有意だが未確立の深層時系列予測機構を厳密に分析する。 上記の分析に基づいて,新しい時系列予測ネットワーク,すなわちRTNetを提案する。
  論文  参考訳（メタデータ） (2022-07-22T08:34:31Z)
• Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version [50.43914511877446]
  本稿では,高い効率と精度を確保するために,三角形,可変特性に着目した注意点を提案する。 我々はTriformerが精度と効率の両方で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-28T20:41:49Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。