論文の概要: Boosting X-formers with Structured Matrix for Long Sequence Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2405.12462v1
- Date: Tue, 21 May 2024 02:37:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 14:28:21.100402
- Title: Boosting X-formers with Structured Matrix for Long Sequence Time Series Forecasting
- Title(参考訳): 長周期時系列予測のための構造化マトリックスを用いたブースティングXフォーマ
- Authors: Zhicheng Zhang, Yong Wang, Shaoqi Tan, Bowei Xia, Yujie Luo,
- Abstract要約: 長周期時系列予測(LSTF)問題におけるトランスフォーマーモデルのための新しいアーキテクチャ設計を提案する。
このフレームワークは、その正確性を犠牲にすることなく、よく設計されたモデルの効率を高めることを目的としている。
平均性能は9.45%向上し, モデルサイズを46%削減した。
- 参考スコア(独自算出の注目度): 7.3758245014991255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based models for long sequence time series forecasting (LSTF) problems have gained significant attention due to their exceptional forecasting precision. As the cornerstone of these models, the self-attention mechanism poses a challenge to efficient training and inference due to its quadratic time complexity. In this article, we propose a novel architectural design for Transformer-based models in LSTF, leveraging a substitution framework that incorporates Surrogate Attention Blocks and Surrogate FFN Blocks. The framework aims to boost any well-designed model's efficiency without sacrificing its accuracy. We further establish the equivalence of the Surrogate Attention Block to the self-attention mechanism in terms of both expressiveness and trainability. Through extensive experiments encompassing nine Transformer-based models across five time series tasks, we observe an average performance improvement of 9.45% while achieving a significant reduction in model size by 46%
- Abstract(参考訳): 長周期時系列予測(LSTF)問題に対するトランスフォーマーベースモデルは、異常な予測精度のために注目されている。
これらのモデルの基礎として、自己認識機構は2次時間の複雑さのため、効率的なトレーニングと推論に挑戦する。
本稿では,Surrogate Attention BlocksとSurrogate FFN Blocksを組み込んだ代替フレームワークを活用し,LSTFにおけるTransformerベースモデルのアーキテクチャ設計を提案する。
このフレームワークは、その正確性を犠牲にすることなく、よく設計されたモデルの効率を高めることを目的としている。
我々はさらに、表現性と訓練性の両方の観点から、自己注意機構に対するサロゲート注意ブロックの等価性を確立する。
5つの時系列タスクにわたる9つのTransformerベースのモデルを含む広範な実験を通して、モデルサイズを46%削減しながら、平均的なパフォーマンス改善を9.45%観察する。
関連論文リスト
- Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。
近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。
我々は、従来のTransformerフレームワークを再考する新しいアーキテクチャ、Cross-Attention-only Time Series transformer (CATS)を導入する。
論文 参考訳(メタデータ) (2024-05-27T06:49:39Z) - UnitNorm: Rethinking Normalization for Transformers in Time Series [9.178527914585446]
正規化技術は,時系列解析タスクにおけるトランスフォーマーモデルの性能向上と安定性向上に不可欠である。
入力ベクトルをノルムで拡張し、注意パターンを変調する新しい手法であるUnitNormを提案する。
UnitNormの有効性は、予測、分類、異常検出など、さまざまな時系列分析タスクで実証されている。
論文 参考訳(メタデータ) (2024-05-24T19:58:25Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T16:45:19Z) - TransNormerLLM: A Faster and Better Large Language Model with Improved
TransNormer [34.790081960470964]
最初の線形注意に基づくLarge Language Model(LLM)であるTransNormerLLMを提案する。
我々は, 位置埋め込み, 線形注意加速度, ゲーティング機構, テンソル正規化, 推論加速度, 安定化など, 高度な修正を行う。
自己収集コーパス上に385M, 1B, 7Bの大きさの列車モデルとアブリケーションを用いてモデル設計を検証する。
論文 参考訳(メタデータ) (2023-07-27T16:45:33Z) - Fourier Transformer: Fast Long Range Modeling by Removing Sequence
Redundancy with FFT Operator [24.690247474891958]
フーリエ変換器は、様々な大きな事前訓練されたモデルから継承する能力を維持しながら、計算コストを大幅に削減することができる。
本モデルは,長距離モデリングベンチマークLRAにおいて,トランスフォーマーベースモデル間の最先端性能を実現する。
CNN/DailyMailやELI5などのシークエンシャルなシークエンスタスクでは、BARTを継承することで、私たちのモデルは標準のBARTよりも優れています。
論文 参考訳(メタデータ) (2023-05-24T12:33:06Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - LSG Attention: Extrapolation of pretrained Transformers to long
sequences [0.0]
ローカル・スパース・グローバル・アテンションに依存したLSGアーキテクチャを導入する。
長文の分類と要約作業においてLSGの注意は高速で効率的で競争力があることを示す。
我々は新しいモデルをトレーニングし、このメカニズムに基づいて既存のモデルを適応するためのツールを提案する。
論文 参考訳(メタデータ) (2022-10-13T13:10:41Z) - DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and
Quantization [75.72231742114951]
BARTやT5のような大規模事前学習シーケンス・ツー・シーケンスモデルは、多くの生成NLPタスクで最先端のパフォーマンスを達成する。
これらのモデルは、大きなメモリ要件と高いレイテンシのため、リソース制約のあるシナリオにおいて大きな課題となる。
そこで,本論文では,教師モデルから学生モデルへの知識の伝達と,学生モデルの定量化と定量化について提案する。
論文 参考訳(メタデータ) (2022-03-21T18:04:25Z) - Autoformer: Decomposition Transformers with Auto-Correlation for
Long-Term Series Forecasting [68.86835407617778]
Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。
長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
論文 参考訳(メタデータ) (2021-06-24T13:43:43Z) - Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。
マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文 参考訳(メタデータ) (2021-04-20T00:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。