論文の概要: Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting

• arxiv url: http://arxiv.org/abs/2106.13008v1
• Date: Thu, 24 Jun 2021 13:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 15:19:08.000321
• Title: Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting
• Title（参考訳）: autoformer: 長期時系列予測のための自己相関型分解トランス
• Authors: Haixu Wu, Jiehui Xu, Jianmin Wang, Mingsheng Long
• Abstract要約: Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。 長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
• 参考スコア（独自算出の注目度）: 68.86835407617778
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Extending the forecasting time is a critical demand for real applications, such as extreme weather early warning and long-term energy consumption planning. This paper studies the \textit{long-term forecasting} problem of time series. Prior Transformer-based models adopt various self-attention mechanisms to discover the long-range dependencies. However, intricate temporal patterns of the long-term future prohibit the model from finding reliable dependencies. Also, Transformers have to adopt the sparse versions of point-wise self-attentions for long series efficiency, resulting in the information utilization bottleneck. Towards these challenges, we propose Autoformer as a novel decomposition architecture with an Auto-Correlation mechanism. We go beyond the pre-processing convention of series decomposition and renovate it as a basic inner block of deep models. This design empowers Autoformer with progressive decomposition capacities for complex time series. Further, inspired by the stochastic process theory, we design the Auto-Correlation mechanism based on the series periodicity, which conducts the dependencies discovery and representation aggregation at the sub-series level. Auto-Correlation outperforms self-attention in both efficiency and accuracy. In long-term forecasting, Autoformer yields state-of-the-art accuracy, with a 38% relative improvement on six benchmarks, covering five practical applications: energy, traffic, economics, weather and disease.
• Abstract（参考訳）: 予測時間を延長することは、極端な気象早期警報や長期エネルギー消費計画など、実際の応用にとって重要な需要である。 本稿では時系列の「textit{long-term forecasting}」問題について考察する。 以前のトランスフォーマーモデルでは、長距離依存性を発見するために様々な自己着信機構を採用している。 しかし、長期の複雑な時間パターンは、モデルが信頼できる依存関係を見つけることを妨げている。 また、トランスフォーマーは、長いシリーズ効率のために、ポイントワイズセルフアテンションのスパースバージョンを採用する必要があり、その結果、情報利用ボトルネックが発生する。 これらの課題に対して,自動相関機構を備えた新しい分解アーキテクチャとしてAutoformerを提案する。 我々は、直列分解の前処理規約を超越し、それを深層モデルの基本的な内部ブロックとして再構築する。 この設計は複雑な時系列のプログレッシブ分解能力を持つオートフォーマタに力を与える。 さらに, 確率過程理論に触発されて, 系列周期性に基づく自己相関機構を設計し, 部分系列レベルで依存関係の発見と表現の集約を行う。 自己相関は、効率と精度の両方において自己アテンションを上回る。 長期的な予測では、Autoformerは6つのベンチマークに対して38%の相対的な改善を行い、エネルギー、交通、経済、天気、病気の5つの実践的応用をカバーしている。

関連論文リスト

• Diffusion Auto-regressive Transformer for Effective Self-supervised Time Series Forecasting [47.58016750718323]
  我々はTimeDARTと呼ばれる新しい自己管理手法を提案する。 TimeDARTは、時系列データ内のグローバルシーケンス依存とローカル詳細特徴の両方をキャプチャする。 私たちのコードはhttps://github.com/Melmaphother/TimeDART.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-08T06:08:33Z)
• Local Attention Mechanism: Boosting the Transformer Architecture for Long-Sequence Time Series Forecasting [8.841114905151152]
  局所注意機構 (LAM) は時系列解析に適した効率的な注意機構である。 LAMは時系列の連続性特性を利用して計算された注目点数を減少させる。 時間とメモリO(nlogn)で動作する代数テンソルにLAMを実装するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T11:32:02Z)
• Multiscale Representation Enhanced Temporal Flow Fusion Model for Long-Term Workload Forecasting [19.426131129034115]
  本稿では,自己指導型マルチスケール表現学習を利用して,長期および短期のワークロードパターンを抽出する新しいフレームワークを提案する。 長期履歴はマルチスケール表現によって符号化され、短期観測は時流融合によってモデル化される。
  論文  参考訳（メタデータ） (2024-07-29T04:42:18Z)
• Rough Transformers for Continuous and Efficient Time-Series Modelling [46.58170057001437]
  実世界の医療環境における時系列データは、典型的には長距離依存を示し、一様でない間隔で観察される。 本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 Rough Transformersは、Neural ODEベースのモデルの利点を得ながら、バニラアテンションを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-15T13:29:45Z)
• Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series Forecasting Approach [71.67506068703314]
  長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。 伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。 本研究では,都市におけるモビリティ予測の新たな視点について紹介する。 都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
  論文  参考訳（メタデータ） (2023-12-04T07:39:05Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting [24.510978166050293]
  本研究は時系列予測のための非自己回帰変換アーキテクチャを提案する最初の試みである。 本稿では,空間的注意と時間的注意のギャップを埋めるために,学習した時間的影響マップを用いて橋を架ける新しい時間的注意機構を提案する。
  論文  参考訳（メタデータ） (2021-02-10T18:36:11Z)
• Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
  本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。 具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。 提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
  論文  参考訳（メタデータ） (2020-01-09T10:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。