論文の概要: Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2205.14415v4
• Date: Fri, 24 Nov 2023 09:01:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 05:06:17.641363
• Title: Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting
• Title（参考訳）: 非定常変圧器:時系列予測における定常性探索
• Authors: Yong Liu, Haixu Wu, Jianmin Wang, Mingsheng Long
• Abstract要約: 本稿では,2つの相互依存モジュールを持つ汎用フレームワークとして,非定常変圧器を提案する。 我々のフレームワークは、メインストリームのトランスフォーマーを、大きなマージンで継続的に増加させ、トランスフォーマーで49.43%、インフォーマーで47.34%、改革派で46.89%削減します。
• 参考スコア（独自算出の注目度）: 86.33543833145457
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformers have shown great power in time series forecasting due to their global-range modeling ability. However, their performance can degenerate terribly on non-stationary real-world data in which the joint distribution changes over time. Previous studies primarily adopt stationarization to attenuate the non-stationarity of original series for better predictability. But the stationarized series deprived of inherent non-stationarity can be less instructive for real-world bursty events forecasting. This problem, termed over-stationarization in this paper, leads Transformers to generate indistinguishable temporal attentions for different series and impedes the predictive capability of deep models. To tackle the dilemma between series predictability and model capability, we propose Non-stationary Transformers as a generic framework with two interdependent modules: Series Stationarization and De-stationary Attention. Concretely, Series Stationarization unifies the statistics of each input and converts the output with restored statistics for better predictability. To address the over-stationarization problem, De-stationary Attention is devised to recover the intrinsic non-stationary information into temporal dependencies by approximating distinguishable attentions learned from raw series. Our Non-stationary Transformers framework consistently boosts mainstream Transformers by a large margin, which reduces MSE by 49.43% on Transformer, 47.34% on Informer, and 46.89% on Reformer, making them the state-of-the-art in time series forecasting. Code is available at this repository: https://github.com/thuml/Nonstationary_Transformers.
• Abstract（参考訳）: トランスフォーマーは、そのグローバルレンジモデリング能力により、時系列予測において大きな力を発揮している。 しかし、それらの性能は、時間とともにジョイント分布が変化する非定常実世界データ上で著しく低下する可能性がある。 以前の研究は主に、予測可能性を改善するために元の系列の非定常性を弱めるために定常化を採用する。 しかし、本質的な非定常性を欠いた固定化されたシリーズは、現実世界のバーストイベントの予測には役に立たない。 過定常化と呼ばれるこの問題により、トランスフォーマーは、異なる系列に対して識別不能な時間的注意を発生させ、深層モデルの予測能力を妨げる。 直列予測可能性とモデル能力のジレンマに対処するために,直列固定化と非定常注意という2つの相互依存モジュールを持つ汎用フレームワークとして非定常トランスフォーマーを提案する。 具体的には、直列定常化は各入力の統計を統一し、より良い予測可能性のために復元された統計で出力を変換する。 過定常化問題に対処するため,生系列から学習した顕著な注意を近似することにより,本質的な非定常情報を時間依存に復元する。 我々の非定常トランスフォーマーフレームワークは、メインストリームトランスフォーマーを大きなマージンで継続的に強化し、トランスフォーマーで49.43%、インフォーマーで47.34%、リフォーマーで46.89%減らし、時系列予測における最先端となる。 コードは、このリポジトリで入手できる。

関連論文リスト

• LSEAttention is All You Need for Time Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 変圧器モデルでよく見られるエントロピー崩壊とトレーニング不安定性に対処するアプローチである textbfLSEAttention を導入する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Considering Nonstationary within Multivariate Time Series with Variational Hierarchical Transformer for Forecasting [12.793705636683402]
  MTS内の非定常性と固有特性を考慮した強力な階層的確率的生成モジュールを開発した。 次に、階層時間系列変分変換器(HTV-Trans)という、明確に定義された変動生成動的モデルに対する変換器と組み合わせる。 HTV-Transは強力な確率モデルであり、MTSの表現表現を学習し、予測タスクに適用する。
  論文  参考訳（メタデータ） (2024-03-08T16:04:36Z)
• Transformers with Attentive Federated Aggregation for Time Series Stock Forecasting [15.968396756506236]
  時系列モデリングは多くの時系列アプリケーションでトランスフォーマーが広く使われるようになった。 時系列予測への変換器の適応は、有望かつ矛盾した結果とともに制限され続けている。 本稿では,企業へのプライバシ保護を図りつつ,パフォーマンスを向上した時系列ストック予測のための注意深いフェデレーショントランスフォーマーを提案する。
  論文  参考訳（メタデータ） (2024-01-22T07:33:28Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting [24.510978166050293]
  本研究は時系列予測のための非自己回帰変換アーキテクチャを提案する最初の試みである。 本稿では,空間的注意と時間的注意のギャップを埋めるために,学習した時間的影響マップを用いて橋を架ける新しい時間的注意機構を提案する。
  論文  参考訳（メタデータ） (2021-02-10T18:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。