論文の概要: Persistence Initialization: A novel adaptation of the Transformer
architecture for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2208.14236v1
- Date: Tue, 30 Aug 2022 13:04:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-31 12:32:21.885835
- Title: Persistence Initialization: A novel adaptation of the Transformer
architecture for Time Series Forecasting
- Title（参考訳）: 持続性初期化:時系列予測のためのトランスフォーマーアーキテクチャの新しい適応
- Authors: Espen Haugsdal, Erlend Aune, Massimiliano Ruocco
- Abstract要約: 時系列予測は多くの実世界の応用において重要な問題である。
本稿では,時系列予測のタスクに着目したトランスフォーマーアーキテクチャの新たな適応を提案する。
ReZero正規化とロータリー位置符号化を備えたデコーダトランスを用いるが、この適応は任意の自己回帰型ニューラルネットワークモデルに適用できる。
- 参考スコア（独自算出の注目度）: 0.7734726150561088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time series forecasting is an important problem, with many real world
applications. Ensembles of deep neural networks have recently achieved
impressive forecasting accuracy, but such large ensembles are impractical in
many real world settings. Transformer models been successfully applied to a
diverse set of challenging problems. We propose a novel adaptation of the
original Transformer architecture focusing on the task of time series
forecasting, called Persistence Initialization. The model is initialized as a
naive persistence model by using a multiplicative gating mechanism combined
with a residual skip connection. We use a decoder Transformer with ReZero
normalization and Rotary positional encodings, but the adaptation is applicable
to any auto-regressive neural network model. We evaluate our proposed
architecture on the challenging M4 dataset, achieving competitive performance
compared to ensemble based methods. We also compare against existing recently
proposed Transformer models for time series forecasting, showing superior
performance on the M4 dataset. Extensive ablation studies show that Persistence
Initialization leads to better performance and faster convergence. As the size
of the model increases, only the models with our proposed adaptation gain in
performance. We also perform an additional ablation study to determine the
importance of the choice of normalization and positional encoding, and find
both the use of Rotary encodings and ReZero normalization to be essential for
good forecasting performance.
- Abstract（参考訳）: 時系列予測は多くの実世界の応用において重要な問題である。
ディープニューラルネットワークのアンサンブルは最近、印象的な予測精度を達成したが、多くの現実世界ではそのような大きなアンサンブルは実用的ではない。
トランスフォーマーモデルは様々な挑戦的な問題にうまく適用された。
本稿では,パーシステンス初期化(Persistence Initialization)と呼ばれる時系列予測タスクに着目したトランスフォーマーアーキテクチャの新しい適応を提案する。
このモデルは、乗算ゲーティング機構と残留スキップ接続を組み合わせることで、ナイーブ永続モデルとして初期化される。
ReZero正規化とロータリー位置符号化を備えたデコーダトランスを用いるが、この適応は任意の自己回帰型ニューラルネットワークモデルに適用できる。
提案手法をm4データセット上で評価し,アンサンブル法と比較し,性能評価を行った。
また,最近提案した時系列予測用トランスフォーマーモデルと比較し,M4データセット上での優れた性能を示す。
広範囲にわたるアブレーション研究は、パーシステンス初期化がより良い性能とより速い収束をもたらすことを示している。
モデルのサイズが大きくなるにつれて、提案した適応モデルのみの性能が向上する。
また,正規化と位置符号化の選択の重要性を判定するために追加のアブレーション研究を行い,ロータリーエンコーディングと再ゼロ正規化の両方が良好な予測性能に不可欠であることを見出した。
関連論文リスト
- PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。
近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。
我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。
提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
論文 参考訳（メタデータ） (2024-05-27T06:49:39Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-04T20:00:45Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳（メタデータ） (2023-10-02T16:45:19Z) - Hybrid State Space-based Learning for Sequential Data Prediction with
Joint Optimization [0.0]
本稿では,従来の非線形予測モデルにおいて,ドメイン固有の特徴工学的問題の必要性を緩和するハイブリッドモデルを提案する。
基本モデルに対する新しい状態空間表現を導入し、ハイブリッドやアンサンブルの完全な状態空間表現を提供する。
このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
論文 参考訳（メタデータ） (2023-09-19T12:00:28Z) - A Transformer-based Framework For Multi-variate Time Series: A Remaining
Useful Life Prediction Use Case [4.0466311968093365]
本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。
C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。
機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
論文 参考訳（メタデータ） (2023-08-19T02:30:35Z) - Two Steps Forward and One Behind: Rethinking Time Series Forecasting
with Deep Learning [7.967995669387532]
Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。
時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。
性能が良く、より複雑でない代替モデル一式を提案する。
論文 参考訳（メタデータ） (2023-04-10T12:47:42Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。