論文の概要: Persistence Initialization: A novel adaptation of the Transformer
architecture for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2208.14236v1
- Date: Tue, 30 Aug 2022 13:04:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-31 12:32:21.885835
- Title: Persistence Initialization: A novel adaptation of the Transformer
architecture for Time Series Forecasting
- Title(参考訳): 持続性初期化:時系列予測のためのトランスフォーマーアーキテクチャの新しい適応
- Authors: Espen Haugsdal, Erlend Aune, Massimiliano Ruocco
- Abstract要約: 時系列予測は多くの実世界の応用において重要な問題である。
本稿では,時系列予測のタスクに着目したトランスフォーマーアーキテクチャの新たな適応を提案する。
ReZero正規化とロータリー位置符号化を備えたデコーダトランスを用いるが、この適応は任意の自己回帰型ニューラルネットワークモデルに適用できる。
- 参考スコア(独自算出の注目度): 0.7734726150561088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time series forecasting is an important problem, with many real world
applications. Ensembles of deep neural networks have recently achieved
impressive forecasting accuracy, but such large ensembles are impractical in
many real world settings. Transformer models been successfully applied to a
diverse set of challenging problems. We propose a novel adaptation of the
original Transformer architecture focusing on the task of time series
forecasting, called Persistence Initialization. The model is initialized as a
naive persistence model by using a multiplicative gating mechanism combined
with a residual skip connection. We use a decoder Transformer with ReZero
normalization and Rotary positional encodings, but the adaptation is applicable
to any auto-regressive neural network model. We evaluate our proposed
architecture on the challenging M4 dataset, achieving competitive performance
compared to ensemble based methods. We also compare against existing recently
proposed Transformer models for time series forecasting, showing superior
performance on the M4 dataset. Extensive ablation studies show that Persistence
Initialization leads to better performance and faster convergence. As the size
of the model increases, only the models with our proposed adaptation gain in
performance. We also perform an additional ablation study to determine the
importance of the choice of normalization and positional encoding, and find
both the use of Rotary encodings and ReZero normalization to be essential for
good forecasting performance.
- Abstract(参考訳): 時系列予測は多くの実世界の応用において重要な問題である。
ディープニューラルネットワークのアンサンブルは最近、印象的な予測精度を達成したが、多くの現実世界ではそのような大きなアンサンブルは実用的ではない。
トランスフォーマーモデルは様々な挑戦的な問題にうまく適用された。
本稿では,パーシステンス初期化(Persistence Initialization)と呼ばれる時系列予測タスクに着目したトランスフォーマーアーキテクチャの新しい適応を提案する。
このモデルは、乗算ゲーティング機構と残留スキップ接続を組み合わせることで、ナイーブ永続モデルとして初期化される。
ReZero正規化とロータリー位置符号化を備えたデコーダトランスを用いるが、この適応は任意の自己回帰型ニューラルネットワークモデルに適用できる。
提案手法をm4データセット上で評価し,アンサンブル法と比較し,性能評価を行った。
また,最近提案した時系列予測用トランスフォーマーモデルと比較し,M4データセット上での優れた性能を示す。
広範囲にわたるアブレーション研究は、パーシステンス初期化がより良い性能とより速い収束をもたらすことを示している。
モデルのサイズが大きくなるにつれて、提案した適応モデルのみの性能が向上する。
また,正規化と位置符号化の選択の重要性を判定するために追加のアブレーション研究を行い,ロータリーエンコーディングと再ゼロ正規化の両方が良好な予測性能に不可欠であることを見出した。
関連論文リスト
- Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate
Time Series [59.97020360721152]
パウラ理論に基づいて,最近導入された注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T16:45:19Z) - Hybrid State Space-based Learning for Sequential Data Prediction with
Joint Optimization [0.0]
本稿では,従来の非線形予測モデルにおいて,ドメイン固有の特徴工学的問題の必要性を緩和するハイブリッドモデルを提案する。
基本モデルに対する新しい状態空間表現を導入し、ハイブリッドやアンサンブルの完全な状態空間表現を提供する。
このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
論文 参考訳(メタデータ) (2023-09-19T12:00:28Z) - A Transformer-based Framework For Multi-variate Time Series: A Remaining
Useful Life Prediction Use Case [4.0466311968093365]
本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。
C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。
機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
論文 参考訳(メタデータ) (2023-08-19T02:30:35Z) - Two Steps Forward and One Behind: Rethinking Time Series Forecasting
with Deep Learning [7.967995669387532]
Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。
時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。
性能が良く、より複雑でない代替モデル一式を提案する。
論文 参考訳(メタデータ) (2023-04-10T12:47:42Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳(メタデータ) (2023-02-27T18:18:13Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Robust representations of oil wells' intervals via sparse attention
mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。
私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。
このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文 参考訳(メタデータ) (2022-12-29T09:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。