論文の概要: Boosting X-formers with Structured Matrix for Long Sequence Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2405.12462v3
• Date: Thu, 24 Oct 2024 01:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:15.077802
• Title: Boosting X-formers with Structured Matrix for Long Sequence Time Series Forecasting
• Title（参考訳）: 長周期時系列予測のための構造化マトリックスを用いたブースティングXフォーマ
• Authors: Zhicheng Zhang, Yong Wang, Shaoqi Tan, Bowei Xia, Yujie Luo,
• Abstract要約: 本稿では,Surrogate Attention Blocks (SAB)とSurrogate Feed-Forward Neural Network Blocks (SFB)を統合してトランスフォーマーモデルを強化する新しいアーキテクチャフレームワークを提案する。 5つの異なる時系列タスクにわたる9つのトランスフォーマー変種の実験では、平均性能は9.45%向上し、モデルサイズは46%減少した。
• 参考スコア（独自算出の注目度）: 7.3758245014991255
• License:
• Abstract: Transformer-based models for long sequence time series forecasting problems have gained significant attention due to their exceptional forecasting precision. However, the self-attention mechanism introduces challenges in terms of computational efficiency due to its quadratic time complexity. To address these issues, we propose a novel architectural framework that enhances Transformer models through the integration of Surrogate Attention Blocks (SAB) and Surrogate Feed-Forward Neural Network Blocks (SFB). They replace the self-attention and feed-forward layer by leveraging structured matrices that reduce both time and space complexity while maintaining the expressive power of the original self-attention mechanism and feed-forward network. The equivalence of this substitution is fully demonstrated. Extensive experiments on nine Transformer variants across five distinct time series tasks demonstrate an average performance improvement of 9.45%, alongside a 46% reduction in model size. These results confirm the efficacy of our surrogate-based approach in maintaining prediction accuracy while significantly boosting computational efficiency.
• Abstract（参考訳）: 長周期時系列予測問題に対するトランスフォーマーに基づくモデルは、異常な予測精度のために大きな注目を集めている。 しかし、自己注意機構は2次時間複雑性による計算効率の面での課題を提起する。 これらの問題に対処するために,Surrogate Attention Blocks (SAB) とSurrogate Feed-Forward Neural Network Blocks (SFB) を統合してトランスフォーマーモデルを強化する新しいアーキテクチャフレームワークを提案する。 これらは、本来の自己保持機構とフィードフォワードネットワークの表現力を維持しながら、時間と空間の複雑さを減少させる構造化行列を活用することで、自己保持層とフィードフォワード層を置き換える。 この置換の等価性は完全に証明されている。 5つの異なる時系列タスクにわたる9つのトランスフォーマー変種に関する大規模な実験では、平均的なパフォーマンス改善は9.45%、モデルサイズは46%削減された。 これらの結果は,計算効率を著しく向上させながら,予測精度を維持するためのサロゲートベースアプローチの有効性を確認した。

関連論文リスト

• Ister: Inverted Seasonal-Trend Decomposition Transformer for Explainable Multivariate Time Series Forecasting [10.32586981170693]
  Inverted Seasonal-Trend Decomposition Transformer (Ister) 本稿では,解釈可能性,計算効率,予測精度を向上させる新しいDotアテンション機構を提案する。 Isterはコンポーネントのコントリビューションを直感的に視覚化し、モデルの意思決定プロセスに光を流し、予測結果の透明性を高める。
  論文  参考訳（メタデータ） (2024-12-25T06:37:19Z)
• LSEAttention is All You Need for Time Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。 本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Local Attention Mechanism: Boosting the Transformer Architecture for Long-Sequence Time Series Forecasting [8.841114905151152]
  局所注意機構 (LAM) は時系列解析に適した効率的な注意機構である。 LAMは時系列の連続性特性を利用して計算された注目点数を減少させる。 時間とメモリO(nlogn)で動作する代数テンソルにLAMを実装するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T11:32:02Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
  時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。 近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。 我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。 提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-05-27T06:49:39Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• ETSformer: Exponential Smoothing Transformers for Time-series Forecasting [35.76867542099019]
  時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。 特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
  論文  参考訳（メタデータ） (2022-02-03T02:50:44Z)
• Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting [68.86835407617778]
  Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。 長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
  論文  参考訳（メタデータ） (2021-06-24T13:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。