論文の概要: Extrapolatable Transformer Pre-training for Ultra Long Time-Series Forecasting

• arxiv url: http://arxiv.org/abs/2312.00817v2
• Date: Wed, 14 Feb 2024 21:03:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 21:03:55.061543
• Title: Extrapolatable Transformer Pre-training for Ultra Long Time-Series Forecasting
• Title（参考訳）: 超長時系列予測のための超ポーラブル変圧器予習
• Authors: Ziyang Song, Qincheng Lu, Hao Xu, David L. Buckeridge, Yue Li
• Abstract要約: 我々は、時間生成事前学習変換器(TimelyGPT)を提示する。 TimelyGPTは、トレンドと周期パターンを時系列表現にエンコードするために、extrapolatable position (xPos) を組み込んでいる。 実験の結果,TimelyGPTは連続的に監視される生体信号と不規則にサンプリングされた時系列データのモデリングに優れていた。
• 参考スコア（独自算出の注目度）: 12.16969898501894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained models (PTMs) such as BERT and GPT have recently achieved great success in Natural Language Processing and Computer Vision domains. However, the development of PTMs on time-series data is lagging behind. This underscores the limitations of the existing transformer-based architectures, particularly their scalability to handle large-scale data and ability to capture long-term temporal dependencies. In this study, we present Timely Generative Pre-trained Transformer (TimelyGPT). TimelyGPT employs an extrapolatable position (xPos) embedding to encode trend and periodic patterns into time-series representations. It also integrates recurrent attention and temporal convolution modules to effectively capture global-local temporal dependencies. Our experiments show that TimelyGPT excels in modeling continuously monitored biosignals and irregularly-sampled time series data commonly observed in longitudinal electronic health records (EHRs). In ultra-long-term forecasting experiment, TimelyGPT achieves accurate extrapolation up to 6,000 timesteps of body temperature during the sleep stage transition given a short look-up window (i.e., prompt) containing only 2,000 timesteps. We further demonstrated TimelyGPT's forecasting capabilities on a preprocessed longitudinal healthcare administrative database called PopHR consisting of 489,000 patients randomly sampled from Montreal population. Together, we envision TimelyGPT to be useful in a broad spectrum of health domains including long-term patient health state forecasting and patient risk trajectory prediction.
• Abstract（参考訳）: BERTやGPTのような大規模事前学習モデル(PTM)は、最近自然言語処理やコンピュータビジョンの分野で大きな成功を収めている。 しかし、時系列データにおけるPTMの開発は遅れている。 これは、既存のトランスフォーマーベースのアーキテクチャ、特に大規模データを扱うためのスケーラビリティと長期的な時間依存を捉える能力の限界を強調するものだ。 本研究では,Timely Generative Pre-trained Transformer (TimelyGPT)を提案する。 timelygptは、トレンドや周期パターンを時系列表現にエンコードするためにxpos(expolatable position)を組み込む。 また、再帰的注意と時間的畳み込みモジュールを統合し、グローバルローカルな時間依存を効果的に捉える。 実験の結果,TimelyGPTは経時的電子健康記録(EHR)でよく見られる生体信号と不規則サンプリング時系列データを連続的に監視し,モデル化に優れていた。 超長期予測実験において、TimelyGPTは、2,000のタイムステップしか持たない短いルックアップウィンドウ(即興)を与えられた睡眠段階遷移中の体温の6,000までの正確な外挿を達成する。 さらに,モントリオール住民からランダムに採取された489,000人の患者からなるpophrと呼ばれる縦型医療管理データベース上で,timelygptの予測能力を示した。 今回我々は,TimelyGPTを,長期患者の健康状態予測や患者のリスク軌跡予測など,幅広い健康領域で有用であると想定した。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• TrajGPT: Irregular Time-Series Representation Learning for Health Trajectory Analysis [9.184876113048523]
  我々は、TrajGPT(Trajectory Generative Pre-trained Transformer)と呼ばれる時系列変換器を提案する。 TrajGPTは、文脈に基づいて無関係な過去の情報を適応的にフィルタリングするために、データ依存の減衰を用いる。 実験の結果,TrajGPTはタスク固有の微調整を必要とせず,軌跡予測,薬物使用予測,表現型分類に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T01:31:20Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Bidirectional Generative Pre-training for Improving Healthcare Time-series Representation Learning [9.621781933666844]
  我々は、BiTimely Generative Pre-trained Transformer (BiTimelyGPT) と呼ばれる新しいアーキテクチャを提案する。 BiTimelyGPTによる生体信号と経時的臨床記録の経時的変化予測 BiTimelyGPTは、生体信号と経時的臨床記録を用いて、神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-14T20:19:24Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• Split Time Series into Patches: Rethinking Long-term Series Forecasting with Dateformer [17.454822366228335]
  時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。 本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。 ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
  論文  参考訳（メタデータ） (2022-07-12T08:58:44Z)
• Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values [7.9405251142099464]
  本稿ではSTraTS(Self-supervised Transformer for TimeSeries)モデルを提案する。 伝統的な密度行列表現を使う代わりに、時系列を観測三重項の集合として扱う。 これは、特にラベル付きデータが制限された場合、死亡予測の最先端手法よりも優れた予測性能を示す。
  論文  参考訳（メタデータ） (2021-07-29T19:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。