論文の概要: Are Transformers Effective for Time Series Forecasting?

• arxiv url: http://arxiv.org/abs/2205.13504v1
• Date: Thu, 26 May 2022 17:17:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 14:55:15.742929
• Title: Are Transformers Effective for Time Series Forecasting?
• Title（参考訳）: トランスフォーマーは時系列予測に有効か?
• Authors: Ailing Zeng, Muxi Chen, Lei Zhang, Qiang Xu
• Abstract要約: 近年、時系列予測(TSF)タスクのためのTransformerベースのソリューションが急増している。 本研究は,Transformer-based techniqueが長期時系列予測に適した解であるかどうかを考察する。 変換器をベースとした解の長期予測精度が比較的高いことは,変換器アーキテクチャの時間的関係抽出能力とはほとんど関係がないことがわかった。
• 参考スコア（独自算出の注目度）: 13.268196448051308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, there has been a surge of Transformer-based solutions for the time series forecasting (TSF) task, especially for the challenging long-term TSF problem. Transformer architecture relies on self-attention mechanisms to effectively extract the semantic correlations between paired elements in a long sequence, which is permutation-invariant and anti-ordering to some extent. However, in time series modeling, we are to extract the temporal relations among an ordering set of continuous points. Consequently, whether Transformer-based techniques are the right solutions for long-term time series forecasting is an interesting problem to investigate, despite the performance improvements shown in these studies. In this work, we question the validity of Transformer-based TSF solutions. In their experiments, the compared (non-Transformer) baselines are mainly autoregressive forecasting solutions, which usually have a poor long-term prediction capability due to inevitable error accumulation effects. In contrast, we use an embarrassingly simple architecture named DLinear that conducts direct multi-step (DMS) forecasting for comparison. DLinear decomposes the time series into a trend and a remainder series and employs two one-layer linear networks to model these two series for the forecasting task. Surprisingly, it outperforms existing complex Transformer-based models in most cases by a large margin. Therefore, we conclude that the relatively higher long-term forecasting accuracy of Transformer-based TSF solutions shown in existing works has little to do with the temporal relation extraction capabilities of the Transformer architecture. Instead, it is mainly due to the non-autoregressive DMS forecasting strategy used in them. We hope this study also advocates revisiting the validity of Transformer-based solutions for other time series analysis tasks (e.g., anomaly detection) in the future.
• Abstract（参考訳）: 近年,時系列予測(TSF)タスク,特に長期TSF問題に対するTransformerベースのソリューションが急増している。 トランスフォーマーアーキテクチャは、長い列のペア要素間の意味的相関を効果的に抽出するために、自己アテンション機構に依存している。 しかし,時系列モデリングでは連続点の順序集合間の時間的関係を抽出する。 その結果,Transformer ベースの手法が長期連続予測の適切な解であるか否かは,これらの研究で示された性能改善にもかかわらず,調査する上で興味深い問題である。 本研究では,Transformer ベースの TSF ソリューションの有効性を疑う。 彼らの実験では、比較された(非トランスフォーマー)ベースラインは主に自己回帰予測ソリューションであり、通常は避けられないエラー蓄積効果のために長期的な予測能力が劣っている。 対照的に、我々はDLinearという名前の恥ずかしいほど単純なアーキテクチャを使って、直接マルチステップ(DMS)予測を行い、比較を行う。 DLinearは、時系列をトレンドと残りのシリーズに分解し、2つの1層線形ネットワークを用いて予測タスクをモデル化する。 驚くべきことに、ほとんどの場合、既存の複雑なTransformerベースのモデルよりも大きなマージンで優れている。 そこで本研究では,Transformer を用いた TSF ソリューションの長期予測精度が比較的高いことは,Transformer アーキテクチャの時間的関係抽出能力とはほとんど関係がないと結論づける。 その代わり、主に非自己回帰的なDMS予測戦略が原因である。 本研究は,将来,他の時系列解析タスク(異常検出など)に対するTransformerベースのソリューションの有効性を再考することを願っている。

関連論文リスト

• LSEAttention is All You Need for Time Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 変圧器モデルでよく見られるエントロピー崩壊とトレーニング不安定性に対処するアプローチである textbfLSEAttention を導入する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting [11.021398675773055]
  本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。 抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。 予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T13:00:46Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Causal Transformer for Estimating Counterfactual Outcomes [18.640006398066188]
  多くのアプリケーションでは、観測データから時間とともに反現実的な結果を予測することが重要となる。 我々は、時間とともに反現実的な結果を予測するための新しい因果変換器を開発した。 私たちのモデルは、時間によって異なる共同設立者間の複雑な長距離依存関係をキャプチャするために特別に設計されています。
  論文  参考訳（メタデータ） (2022-04-14T22:40:09Z)
• Transformers in Time Series: A Survey [66.50847574634726]
  時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。 ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
  論文  参考訳（メタデータ） (2022-02-15T01:43:27Z)
• ETSformer: Exponential Smoothing Transformers for Time-series Forecasting [35.76867542099019]
  時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。 特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
  論文  参考訳（メタデータ） (2022-02-03T02:50:44Z)
• FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting [23.199388386249215]
  本稿では,Transformerと季節差分解法を組み合わせることで,時系列のグローバルなプロファイルを解析する手法を提案する。 我々は、ほとんどの時系列がフーリエ変換のようなよく知られた基底でスパース表現を持つ傾向があるという事実を利用する。 周波数拡張分解変換器 (bf FEDformer) は, より効率的であるとともに, 周波数拡張分解変換器 (ff FEDformer) とよばれる手法が標準変換器よりも効率的である。
  論文  参考訳（メタデータ） (2022-01-30T06:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。