論文の概要: Extrapolatable Transformer Pre-training for Ultra Long Time-Series
Forecasting
- arxiv url: http://arxiv.org/abs/2312.00817v2
- Date: Wed, 14 Feb 2024 21:03:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 21:03:55.061543
- Title: Extrapolatable Transformer Pre-training for Ultra Long Time-Series
Forecasting
- Title(参考訳): 超長時系列予測のための超ポーラブル変圧器予習
- Authors: Ziyang Song, Qincheng Lu, Hao Xu, David L. Buckeridge, Yue Li
- Abstract要約: 我々は、時間生成事前学習変換器(TimelyGPT)を提示する。
TimelyGPTは、トレンドと周期パターンを時系列表現にエンコードするために、extrapolatable position (xPos) を組み込んでいる。
実験の結果,TimelyGPTは連続的に監視される生体信号と不規則にサンプリングされた時系列データのモデリングに優れていた。
- 参考スコア(独自算出の注目度): 12.16969898501894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale pre-trained models (PTMs) such as BERT and GPT have recently
achieved great success in Natural Language Processing and Computer Vision
domains. However, the development of PTMs on time-series data is lagging
behind. This underscores the limitations of the existing transformer-based
architectures, particularly their scalability to handle large-scale data and
ability to capture long-term temporal dependencies. In this study, we present
Timely Generative Pre-trained Transformer (TimelyGPT). TimelyGPT employs an
extrapolatable position (xPos) embedding to encode trend and periodic patterns
into time-series representations. It also integrates recurrent attention and
temporal convolution modules to effectively capture global-local temporal
dependencies. Our experiments show that TimelyGPT excels in modeling
continuously monitored biosignals and irregularly-sampled time series data
commonly observed in longitudinal electronic health records (EHRs). In
ultra-long-term forecasting experiment, TimelyGPT achieves accurate
extrapolation up to 6,000 timesteps of body temperature during the sleep stage
transition given a short look-up window (i.e., prompt) containing only 2,000
timesteps. We further demonstrated TimelyGPT's forecasting capabilities on a
preprocessed longitudinal healthcare administrative database called PopHR
consisting of 489,000 patients randomly sampled from Montreal population.
Together, we envision TimelyGPT to be useful in a broad spectrum of health
domains including long-term patient health state forecasting and patient risk
trajectory prediction.
- Abstract(参考訳): BERTやGPTのような大規模事前学習モデル(PTM)は、最近自然言語処理やコンピュータビジョンの分野で大きな成功を収めている。
しかし、時系列データにおけるPTMの開発は遅れている。
これは、既存のトランスフォーマーベースのアーキテクチャ、特に大規模データを扱うためのスケーラビリティと長期的な時間依存を捉える能力の限界を強調するものだ。
本研究では,Timely Generative Pre-trained Transformer (TimelyGPT)を提案する。
timelygptは、トレンドや周期パターンを時系列表現にエンコードするためにxpos(expolatable position)を組み込む。
また、再帰的注意と時間的畳み込みモジュールを統合し、グローバルローカルな時間依存を効果的に捉える。
実験の結果,TimelyGPTは経時的電子健康記録(EHR)でよく見られる生体信号と不規則サンプリング時系列データを連続的に監視し,モデル化に優れていた。
超長期予測実験において、TimelyGPTは、2,000のタイムステップしか持たない短いルックアップウィンドウ(即興)を与えられた睡眠段階遷移中の体温の6,000までの正確な外挿を達成する。
さらに,モントリオール住民からランダムに採取された489,000人の患者からなるpophrと呼ばれる縦型医療管理データベース上で,timelygptの予測能力を示した。
今回我々は,TimelyGPTを,長期患者の健康状態予測や患者のリスク軌跡予測など,幅広い健康領域で有用であると想定した。
関連論文リスト
- TimeGPT in Load Forecasting: A Large Time Series Model Perspective [38.92798207166188]
機械学習モデルは、負荷予測に大きな進歩を遂げているが、過去の負荷データが不足している場合に、その予測精度は制限されている。
本稿では,負荷予測における時系列モデルの可能性について考察する。
論文 参考訳(メタデータ) (2024-04-07T09:05:09Z) - TimeXer: Empowering Transformers for Time Series Forecasting with
Exogenous Variables [82.07393844821522]
内因性変数の予測を強化するために外部情報を利用する新しいフレームワークであるTimeXerを提案する。
TimeXerは、内在変数による時系列予測を大幅に改善し、12の実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-29T11:54:35Z) - Poisson-Gamma Dynamical Systems with Non-Stationary Transition Dynamics [54.19709905569658]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳(メタデータ) (2024-02-26T04:39:01Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳(メタデータ) (2023-12-04T07:39:05Z) - MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series
Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。
本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。
時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文 参考訳(メタデータ) (2023-07-13T13:16:01Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳(メタデータ) (2022-10-02T06:58:49Z) - ETSformer: Exponential Smoothing Transformers for Time-series
Forecasting [35.76867542099019]
時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。
特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
論文 参考訳(メタデータ) (2022-02-03T02:50:44Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳(メタデータ) (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。