論文の概要: Generative Pretrained Hierarchical Transformer for Time Series
Forecasting
- arxiv url: http://arxiv.org/abs/2402.16516v1
- Date: Mon, 26 Feb 2024 11:54:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 13:34:12.151673
- Title: Generative Pretrained Hierarchical Transformer for Time Series
Forecasting
- Title(参考訳): 時系列予測のための事前学習型階層変換器
- Authors: Zhiding Liu, Jiqian Yang, Mingyue Cheng, Yucong Luo, Zhi Li
- Abstract要約: 本稿ではGPHTと呼ばれる予測のための新しい生成事前学習型階層型トランスフォーマアーキテクチャを提案する。
一方、我々は、様々なデータシナリオから様々なデータセットから構成される、モデルを事前訓練するための混合データセットの構築を提唱する。
一方、GPHTはチャネルに依存しない仮定の下で自己回帰予測手法を採用し、出力系列における時間的依存関係を効果的にモデル化する。
- 参考スコア(独自算出の注目度): 4.012001172505646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent efforts have been dedicated to enhancing time series forecasting
accuracy by introducing advanced network architectures and self-supervised
pretraining strategies. Nevertheless, existing approaches still exhibit two
critical drawbacks. Firstly, these methods often rely on a single dataset for
training, limiting the model's generalizability due to the restricted scale of
the training data. Secondly, the one-step generation schema is widely followed,
which necessitates a customized forecasting head and overlooks the temporal
dependencies in the output series, and also leads to increased training costs
under different horizon length settings.
To address these issues, we propose a novel generative pretrained
hierarchical transformer architecture for forecasting, named GPHT. There are
two aspects of key designs in GPHT. On the one hand, we advocate for
constructing a mixed dataset for pretraining our model, comprising various
datasets from diverse data scenarios. This approach significantly expands the
scale of training data, allowing our model to uncover commonalities in time
series data and facilitating improved transfer to specific datasets. On the
other hand, GPHT employs an auto-regressive forecasting approach under the
channel-independent assumption, effectively modeling temporal dependencies in
the output series. Importantly, no customized forecasting head is required,
enabling a single model to forecast at arbitrary horizon settings. We conduct
sufficient experiments on eight datasets with mainstream self-supervised
pretraining models and supervised models. The results demonstrated that GPHT
surpasses the baseline models across various fine-tuning and zero/few-shot
learning settings in the traditional long-term forecasting task, providing
support for verifying the feasibility of pretrained time series large models.
- Abstract(参考訳): 近年,先進的なネットワークアーキテクチャと自己教師型事前学習戦略を導入し,時系列予測の精度向上に努めている。
それでも、既存のアプローチには2つの重大な欠点がある。
まず、これらの方法はトレーニングのための単一のデータセットに依存し、トレーニングデータの制限されたスケールのためにモデルの一般化性を制限する。
第2に、ワンステップ生成スキーマが広く適用され、カスタマイズされた予測ヘッドが必要となり、出力シリーズの時間依存性を見過ごせるとともに、地平線長設定の異なるトレーニングコストが増大する。
これらの課題に対処するために,GPHT と呼ばれる予測のための新しい生成事前学習型階層型トランスフォーマアーキテクチャを提案する。
GPHTのキーデザインには2つの側面がある。
一方、我々は、様々なデータシナリオから様々なデータセットを構成する、モデルを事前訓練するための混合データセットの構築を提唱する。
このアプローチはトレーニングデータのスケールを大幅に拡大し、時系列データの共通性を明らかにし、特定のデータセットへの転送を改善することができます。
一方、GPHTはチャネルに依存しない仮定の下で自己回帰予測手法を採用し、出力系列の時間依存性を効果的にモデル化する。
重要なことは、カスタマイズされた予測ヘッドは不要であり、任意の地平線設定で単一のモデルを予測できる。
主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。
その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを超え、事前訓練された時系列大モデルの実現可能性を検証する。
関連論文リスト
- Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-12T12:29:32Z) - Pushing the Limits of Pre-training for Time Series Forecasting in the
CloudOps Domain [54.67888148566323]
クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。
強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。
これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
論文 参考訳(メタデータ) (2023-10-08T08:09:51Z) - TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series
Forecasting [26.080207374930055]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。
TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文 参考訳(メタデータ) (2023-10-08T00:02:25Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate
Time Series [59.97020360721152]
パウラ理論に基づいて,最近導入された注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T16:45:19Z) - Global Models for Time Series Forecasting: A Simulation Study [2.580765958706854]
自動回帰(AR)や季節ARのような単純なデータ生成プロセス(DGP)からカオスロジスティックマップ、自己興奮型閾値自動回帰、マッキーグラス方程式といった複雑なDGPまで、時系列をシミュレートする。
データセットの長さと系列数は、さまざまなシナリオで変化します。
我々はこれらのデータセットに対して,Recurrent Neural Networks (RNN), Feed-Forward Neural Networks, Pooled Regression (PR) Model, Light Gradient Boosting Models (LGBM)などの大域的予測モデルを用いて実験を行った。
論文 参考訳(メタデータ) (2020-12-23T04:45:52Z) - Improving the Accuracy of Global Forecasting Models using Time Series
Data Augmentation [7.38079566297881]
GFM(Global Forecasting Models)として知られる多くの時系列のセットでトレーニングされた予測モデルは、競争や実世界のアプリケーションを予測する上で有望な結果を示している。
本稿では,GFMモデルのベースライン精度を向上させるための,データ拡張に基づく新しい予測フレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-06T13:52:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。