論文の概要: Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix

• arxiv url: http://arxiv.org/abs/2405.12462v4
• Date: Mon, 16 Dec 2024 13:47:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:11.112117
• Title: Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
• Title（参考訳）: 構造化行列による時系列時系列予測のためのトランスフォーマーモデルの拡張
• Authors: Zhicheng Zhang, Yong Wang, Shaoqi Tan, Bowei Xia, Yujie Luo,
• Abstract要約: Transformerベースのモデルのコアコンポーネントとしての自己保持機構は、大きな可能性を秘めている。 本稿では,Surrogate Attention Blocks (SAB) とSurrogate Feed-Forward Neural Network Blocks (SFB) を統合してトランスフォーマーモデルを強化する新しいアーキテクチャフレームワークを提案する。 このフレームワークは、自己注意層とフィードフォワード層をSABとSFBで置き換えることで、時間と空間の複雑さを軽減します。
• 参考スコア（独自算出の注目度）: 7.3758245014991255
• License:
• Abstract: Recently, Transformer-based models for long sequence time series forecasting have demonstrated promising results. The self-attention mechanism as the core component of these Transformer-based models exhibits great potential in capturing various dependencies among data points. Despite these advancements, it has been a subject of concern to improve the efficiency of the self-attention mechanism. Unfortunately, current specific optimization methods are facing the challenges in applicability and scalability for the future design of long sequence time series forecasting models. Hence, in this article, we propose a novel architectural framework that enhances Transformer-based models through the integration of Surrogate Attention Blocks (SAB) and Surrogate Feed-Forward Neural Network Blocks (SFB). The framework reduces both time and space complexity by the replacement of the self-attention and feed-forward layers with SAB and SFB while maintaining their expressive power and architectural advantages. The equivalence of this substitution is fully demonstrated. The extensive experiments on 10 Transformer-based models across five distinct time series tasks demonstrate an average performance improvement of 12.4%, alongside 61.3% reduction in parameter counts.
• Abstract（参考訳）: 近年,長周期時系列予測のためのトランスフォーマーモデルにより,有望な結果が得られた。 これらのTransformerベースのモデルのコアコンポーネントとしての自己保持機構は、データポイント間のさまざまな依存関係をキャプチャする大きな可能性を秘めている。 これらの進歩にもかかわらず、自己認識機構の効率向上が懸念されている。 残念なことに、現在の特定の最適化手法は、長期時系列予測モデルの将来設計における適用性とスケーラビリティの課題に直面している。 そこで本稿では,Surrogate Attention Blocks (SAB) とSurrogate Feed-Forward Neural Network Blocks (SFB) を統合し,Transformerベースのモデルを強化する新しいアーキテクチャフレームワークを提案する。 このフレームワークは、自己注意層とフィードフォワード層をSABとSFBに置き換えることで、表現力とアーキテクチャ上の優位性を維持しながら、時間と空間の複雑さを軽減します。 この置換の等価性は完全に証明されている。 5つの異なる時系列タスクにまたがる10のトランスフォーマーベースのモデルに関する広範な実験では、パラメータ数が61.3%減少するとともに、平均12.4%のパフォーマンス改善が示されている。

関連論文リスト

• Local Attention Mechanism: Boosting the Transformer Architecture for Long-Sequence Time Series Forecasting [8.841114905151152]
  局所注意機構 (LAM) は時系列解析に適した効率的な注意機構である。 LAMは時系列の連続性特性を利用して計算された注目点数を減少させる。 時間とメモリO(nlogn)で動作する代数テンソルにLAMを実装するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T11:32:02Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• UnitNorm: Rethinking Normalization for Transformers in Time Series [9.178527914585446]
  正規化技術は,時系列解析タスクにおけるトランスフォーマーモデルの性能向上と安定性向上に不可欠である。 入力ベクトルをノルムで拡張し、注意パターンを変調する新しい手法であるUnitNormを提案する。 UnitNormの有効性は、予測、分類、異常検出など、さまざまな時系列分析タスクで実証されている。
  論文  参考訳（メタデータ） (2024-05-24T19:58:25Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• ETSformer: Exponential Smoothing Transformers for Time-series Forecasting [35.76867542099019]
  時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。 特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
  論文  参考訳（メタデータ） (2022-02-03T02:50:44Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting [68.86835407617778]
  Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。 長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
  論文  参考訳（メタデータ） (2021-06-24T13:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。