論文の概要: Scaleformer: Iterative Multi-scale Refining Transformers for Time Series
Forecasting
- arxiv url: http://arxiv.org/abs/2206.04038v1
- Date: Wed, 8 Jun 2022 17:54:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 14:09:07.202513
- Title: Scaleformer: Iterative Multi-scale Refining Transformers for Time Series
Forecasting
- Title(参考訳): scaleformer:時系列予測のための反復型マルチスケール精錬トランス
- Authors: Amin Shabani, Amir Abdi, Lili Meng, Tristan Sylvain
- Abstract要約: 本稿では,最先端の変圧器を用いた時系列予測モデルに適用可能な,汎用的なマルチスケールフレームワークを提案する。
計算オーバーヘッドを最小限に抑えて、大幅なパフォーマンス向上を達成できます。
- 参考スコア(独自算出の注目度): 7.810207978596586
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The performance of time series forecasting has recently been greatly improved
by the introduction of transformers. In this paper, we propose a general
multi-scale framework that can be applied to state-of-the-art transformer-based
time series forecasting models including Autoformer and Informer. Using
iteratively refining a forecasted time series at multiple scales with shared
weights, architecture adaptations and a specially-designed normalization
scheme, we are able to achieve significant performance improvements with
minimal additional computational overhead. Via detailed ablation studies, we
demonstrate the effectiveness of our proposed architectural and methodological
innovations. Furthermore, our experiments on four public datasets show that the
proposed multi-scale framework outperforms the corresponding baselines with an
average improvement of 13% and 38% over Autoformer and Informer, respectively.
- Abstract(参考訳): 近年,変圧器の導入により時系列予測の性能が大幅に向上した。
本稿では,オートフォーマタやインフォーマを含む最先端の変圧器に基づく時系列予測モデルに適用可能な汎用マルチスケールフレームワークを提案する。
複数のスケールで予測された時系列を、共有重み付け、アーキテクチャ適応、特別に設計された正規化スキームで反復的に精錬することで、計算オーバーヘッドを最小にすることで、大幅なパフォーマンス向上を達成できる。
詳細なアブレーション研究により,提案するアーキテクチャおよび方法論の革新の有効性を実証する。
さらに,4つの公開データセットに対する実験の結果,提案したマルチスケールフレームワークは,AutoformerとInformerよりも平均13%,平均38%向上した。
関連論文リスト
- Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
多くの実用化には時系列予測が不可欠である。
トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。
提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
論文 参考訳(メタデータ) (2024-02-08T03:00:50Z) - Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate
Time Series [59.97020360721152]
パウラ理論に基づいて,最近導入された注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T16:45:19Z) - A Transformer-based Framework For Multi-variate Time Series: A Remaining
Useful Life Prediction Use Case [4.0466311968093365]
本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。
C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。
機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
論文 参考訳(メタデータ) (2023-08-19T02:30:35Z) - Stecformer: Spatio-temporal Encoding Cascaded Transformer for
Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。
抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。
予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文 参考訳(メタデータ) (2023-05-25T13:00:46Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳(メタデータ) (2023-02-27T18:18:13Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-07-16T04:05:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。