論文の概要: Are Self-Attentions Effective for Time Series Forecasting?
- arxiv url: http://arxiv.org/abs/2405.16877v1
- Date: Mon, 27 May 2024 06:49:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 16:41:02.737477
- Title: Are Self-Attentions Effective for Time Series Forecasting?
- Title（参考訳）: セルフアテンションは時系列予測に有効か?
- Authors: Dongbin Kim, Jinseong Park, Jaewook Lee, Hoki Kim,
- Abstract要約: 時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。
近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。
我々は、従来のTransformerフレームワークを再考する新しいアーキテクチャ、Cross-Attention-only Time Series transformer (CATS)を導入する。
- 参考スコア（独自算出の注目度）: 4.990206466948269
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series forecasting is crucial for applications across multiple domains and various scenarios. Although Transformer models have dramatically shifted the landscape of forecasting, their effectiveness remains debated. Recent findings have indicated that simpler linear models might outperform complex Transformer-based approaches, highlighting the potential for more streamlined architectures. In this paper, we shift focus from the overall architecture of the Transformer to the effectiveness of self-attentions for time series forecasting. To this end, we introduce a new architecture, Cross-Attention-only Time Series transformer (CATS), that rethinks the traditional Transformer framework by eliminating self-attention and leveraging cross-attention mechanisms instead. By establishing future horizon-dependent parameters as queries and enhanced parameter sharing, our model not only improves long-term forecasting accuracy but also reduces the number of parameters and memory usage. Extensive experiment across various datasets demonstrates that our model achieves superior performance with the lowest mean squared error and uses fewer parameters compared to existing models.
- Abstract（参考訳）: 時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。
トランスフォーマーモデルは予測の環境を劇的に変化させてきたが、その効果については議論が続いている。
最近の研究では、より単純な線形モデルは複雑なトランスフォーマーベースのアプローチよりも優れており、より合理化されたアーキテクチャの可能性を強調している。
本稿では,トランスフォーマーのアーキテクチャ全体から時系列予測における自己注意の有効性に焦点を移す。
この目的のために我々は,従来のトランスフォーマーフレームワークを再考するアーキテクチャであるクロスアテンションのみの時系列トランス (CATS) を導入し,その代わりに自己アテンションを排除し,クロスアテンション機構を活用する。
将来的な水平方向依存パラメータをクエリとして確立し,パラメータ共有を向上することにより,長期予測精度を向上するだけでなく,パラメータ数やメモリ使用量を削減することができる。
様々なデータセットにわたる大規模な実験により、我々のモデルは最小平均二乗誤差で優れた性能を示し、既存のモデルと比較してパラメータが少ないことが示される。
関連論文リスト
- Bridging Simplicity and Sophistication using GLinear: A Novel Architecture for Enhanced Time Series Prediction [7.887606414896063]
Time Series Forecasting (TSF)は多くの分野において重要なアプリケーションです。
最近の研究では、より単純な線形モデルは、TSFタスクの複雑なTransformerベースのモデルに比べて、性能が優れているか、少なくとも競合する可能性があることが示唆されている。
本稿では,多変量TSFのための新しいデータ効率アーキテクチャGLinearを提案する。
論文 参考訳（メタデータ） (2025-01-02T06:19:53Z) - A Comparative Study of Pruning Methods in Transformer-based Time Series Forecasting [0.07916635054977067]
プルーニングは、ニューラルネットワークのパラメータ数を削減し、計算を保存するための確立されたアプローチである。
本研究では,これらのプルーニング戦略がモデルサイズ,演算,推論時間などの予測性能および計算面に与える影響について検討する。
ハードウェアとソフトウェアが対応する場合でも、構造化プルーニングは大幅な時間節約を達成できないことを実証する。
論文 参考訳（メタデータ） (2024-12-17T13:07:31Z) - LSEAttention is All You Need for Time Series Forecasting [0.0]
トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。
これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。
本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
論文 参考訳（メタデータ） (2024-10-31T09:09:39Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix [7.3758245014991255]
Transformerベースのモデルのコアコンポーネントとしての自己保持機構は、大きな可能性を秘めている。
本稿では,Surrogate Attention Blocks (SAB) とSurrogate Feed-Forward Neural Network Blocks (SFB) を統合してトランスフォーマーモデルを強化する新しいアーキテクチャフレームワークを提案する。
このフレームワークは、自己注意層とフィードフォワード層をSABとSFBで置き換えることで、時間と空間の複雑さを軽減します。
論文 参考訳（メタデータ） (2024-05-21T02:37:47Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-04T20:00:45Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳（メタデータ） (2023-10-02T16:45:19Z) - Two Steps Forward and One Behind: Rethinking Time Series Forecasting
with Deep Learning [7.967995669387532]
Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。
時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。
性能が良く、より複雑でない代替モデル一式を提案する。
論文 参考訳（メタデータ） (2023-04-10T12:47:42Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。