論文の概要: Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

• arxiv url: http://arxiv.org/abs/2012.07436v3
• Date: Sun, 28 Mar 2021 14:45:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:38:11.018279
• Title: Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
• Title（参考訳）: Informer: 時系列予測のための効率的なトランスフォーマー
• Authors: Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, Wancai Zhang
• Abstract要約: 長周期時系列予測(LSTF)は高い予測能力を必要とする。 最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。 我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
• 参考スコア（独自算出の注目度）: 25.417560221400347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world applications require the prediction of long sequence time-series, such as electricity consumption planning. Long sequence time-series forecasting (LSTF) demands a high prediction capacity of the model, which is the ability to capture precise long-range dependency coupling between output and input efficiently. Recent studies have shown the potential of Transformer to increase the prediction capacity. However, there are several severe issues with Transformer that prevent it from being directly applicable to LSTF, including quadratic time complexity, high memory usage, and inherent limitation of the encoder-decoder architecture. To address these issues, we design an efficient transformer-based model for LSTF, named Informer, with three distinctive characteristics: (i) a $ProbSparse$ self-attention mechanism, which achieves $O(L \log L)$ in time complexity and memory usage, and has comparable performance on sequences' dependency alignment. (ii) the self-attention distilling highlights dominating attention by halving cascading layer input, and efficiently handles extreme long input sequences. (iii) the generative style decoder, while conceptually simple, predicts the long time-series sequences at one forward operation rather than a step-by-step way, which drastically improves the inference speed of long-sequence predictions. Extensive experiments on four large-scale datasets demonstrate that Informer significantly outperforms existing methods and provides a new solution to the LSTF problem.
• Abstract（参考訳）: 実世界のアプリケーションの多くは、電力消費計画のような長い時系列の予測を必要とする。 長周期時系列予測(LSTF)は、出力と入力の正確な長距離依存性を効率的に捉える能力であるモデルの高い予測能力を必要とする。 近年の研究では、トランスフォーマーが予測能力を高める可能性を示している。 しかしtransformerには、二次時間の複雑さ、高メモリ使用量、エンコーダ-デコーダアーキテクチャの固有の制限など、lstfに直接適用できないいくつかの深刻な問題がある。 i)$ProbSparse$ self-attention mechanism, 時間複雑性とメモリ使用量で$O(L \log L)$を達成し, シーケンスの依存性アライメントに匹敵する性能を持つ。 (ii)カスケード層入力を半減し、極端に長い入力列を効率的に処理することにより、自己着脱蒸留が注目の高まりを強調する。 (iii)生成型デコーダは概念的には単純であるが、ステップバイステップではなく1回のフォワード操作で長い時系列シーケンスを予測し、長シーケンス予測の推論速度を大幅に向上させる。 4つの大規模なデータセットに対する大規模な実験は、Informerが既存のメソッドを著しく上回り、LSTF問題に対する新しい解決策を提供することを示した。

関連論文リスト

• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem [6.497816402045097]
  Transformerアーキテクチャは、自然言語処理(NLP)やコンピュータビジョン(CV)といった多くのタスクにおいて、最先端の結果をもたらす。 しかし、この高度な能力により、二次的な時間複雑性と高いメモリ使用量により、Transformerは長い時系列予測問題に対処できなくなる。 本稿では,エンコーダ・デコーダアーキテクチャと季節差分解を併用して,より特定の季節差部分を取得する手法を提案する。
  論文  参考訳（メタデータ） (2023-01-04T14:08:21Z)
• CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  時系列予測(LTSF)は,様々な応用において重要な役割を担っている。 既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。 本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)
• Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version [50.43914511877446]
  本稿では,高い効率と精度を確保するために,三角形,可変特性に着目した注意点を提案する。 我々はTriformerが精度と効率の両方で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-28T20:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。