Fugu-MT 論文翻訳(概要): TimelyGPT: Extrapolatable Transformer Pre-training for Long-term Time-Series Forecasting in Healthcare

論文の概要: TimelyGPT: Extrapolatable Transformer Pre-training for Long-term Time-Series Forecasting in Healthcare

arxiv url: http://arxiv.org/abs/2312.00817v3
Date: Sun, 8 Sep 2024 18:09:23 GMT
ステータス: 処理完了
システム内更新日: 2024-09-11 03:42:43.799790
Title: TimelyGPT: Extrapolatable Transformer Pre-training for Long-term Time-Series Forecasting in Healthcare
Title（参考訳）: TimelyGPT:医療における長期予測のための拡張性トランスフォーマー事前トレーニング
Authors: Ziyang Song, Qincheng Lu, Hao Xu, He Zhu, David L. Buckeridge, Yue Li,
Abstract要約: 我々は、時間生成事前学習変換器(TimelyGPT)を提示する。 TimelyGPTは、トレンドと周期パターンを時系列表現にエンコードするために、extrapolatable position (xPos) を組み込んでいる。また、再帰的な注意と時間的畳み込みモジュールを統合して、グローバルな時間的依存関係を効果的にキャプチャする。
参考スコア（独自算出の注目度）: 14.14872125241069
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large-scale pre-trained models (PTMs) such as BERT and GPT have recently achieved great success in Natural Language Processing and Computer Vision domains. However, the development of PTMs on healthcare time-series data is lagging behind.This underscores the limitations of the existing transformer-based architectures, particularly their scalability to handle large-scale time series and ability to capture long-term temporal dependencies. In this study, we present Timely Generative Pre-trained Transformer (TimelyGPT). TimelyGPT employs an extrapolatable position (xPos) embedding to encode trend and periodic patterns into time-series representations. It also integrates recurrent attention and temporal convolution modules to effectively capture global-local temporal dependencies. We evaluated TimelyGPT on two large-scale healthcare time series datasets corresponding to continuous biosignals and irregularly-sampled time series, respectively. Our experiments show that during pre-training, TimelyGPT excels in learning time-series representations from continuously monitored biosignals and irregularly-sampled time series data commonly observed in longitudinal electronic health records (EHRs). In forecasting continuous biosignals, TimelyGPT achieves accurate extrapolation up to 6,000 timesteps of body temperature during the sleep stage transition, given a short look-up window (i.e., prompt) containing only 2,000 timesteps. For irregularly-sampled time series, TimelyGPT with a proposed time-specific inference demonstrates high top recall scores in predicting future diagnoses using early diagnostic records, effectively handling irregular intervals between clinical records. Together, we envision TimelyGPT to be useful in a broad spectrum of health domains, including long-term patient health state forecasting and patient risk trajectory prediction.
Abstract（参考訳）: BERTやGPTのような大規模事前学習モデル(PTM)は、最近自然言語処理やコンピュータビジョンの分野で大きな成功を収めている。しかし、医療時系列データに対するPTMの開発は遅れており、これは既存のトランスフォーマーベースのアーキテクチャ、特に大規模時系列を処理するスケーラビリティと長期の時間的依存関係をキャプチャする能力の限界を浮き彫りにしている。本研究では,Timely Generative Pre-trained Transformer (TimelyGPT)を提案する。 TimelyGPTは、トレンドと周期パターンを時系列表現にエンコードするために、extrapolatable position (xPos) を組み込んでいる。また、再帰的な注意と時間的畳み込みモジュールを統合して、グローバルな時間的依存関係を効果的にキャプチャする。我々は,2つの大規模医療時系列データセットにおいて,連続生体信号と不規則サンプル時系列に対応するタイムリーGPTを評価した。本実験は, トレーニング前において, 経時的電子健康記録(EHR)でよく見られる連続監視バイオシグナーと不規則サンプリング時系列データから時系列表現の学習において, タイムリーGPTが優れていることを示す。連続的な生体信号の予測において、TimelyGPTは、2,000のタイムステップしか持たない短いルックアップウィンドウ(即ちプロンプト)が与えられた場合、睡眠段階遷移中の体温の6,000までの正確な外挿を達成する。不規則にサンプリングされた時系列に対して、TimelyGPTは時間固有の推論を用いて、早期診断記録を用いて将来の診断を予測し、臨床記録間の不規則な間隔を効果的に扱う際に、高いトップリコールスコアを示す。今回我々は,TimelyGPTを,長期患者の健康状態予測や患者のリスク軌跡予測など,幅広い健康領域で有用であると想定した。

関連論文リスト

Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-10-07T07:27:39Z)
TrajGPT: Irregular Time-Series Representation Learning for Health Trajectory Analysis [9.184876113048523]
我々は、TrajGPT(Trajectory Generative Pre-trained Transformer)と呼ばれる時系列変換器を提案する。 TrajGPTは、文脈に基づいて無関係な過去の情報を適応的にフィルタリングするために、データ依存の減衰を用いる。実験の結果,TrajGPTはタスク固有の微調整を必要とせず,軌跡予測,薬物使用予測,表現型分類に優れていた。
論文参考訳（メタデータ） (2024-10-03T01:31:20Z)
A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文参考訳（メタデータ） (2024-02-26T04:39:01Z)
PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
論文参考訳（メタデータ） (2024-02-25T17:39:44Z)
Bidirectional Generative Pre-training for Improving Healthcare Time-series Representation Learning [9.621781933666844]
我々は、BiTimely Generative Pre-trained Transformer (BiTimelyGPT) と呼ばれる新しいアーキテクチャを提案する。 BiTimelyGPTによる生体信号と経時的臨床記録の経時的変化予測 BiTimelyGPTは、生体信号と経時的臨床記録を用いて、神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。
論文参考訳（メタデータ） (2024-02-14T20:19:24Z)
TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文参考訳（メタデータ） (2024-02-04T13:10:51Z)
Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文参考訳（メタデータ） (2024-01-11T10:10:16Z)
Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文参考訳（メタデータ） (2022-10-02T06:58:49Z)
Split Time Series into Patches: Rethinking Long-term Series Forecasting with Dateformer [17.454822366228335]
時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
論文参考訳（メタデータ） (2022-07-12T08:58:44Z)
Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values [7.9405251142099464]
本稿ではSTraTS(Self-supervised Transformer for TimeSeries)モデルを提案する。伝統的な密度行列表現を使う代わりに、時系列を観測三重項の集合として扱う。これは、特にラベル付きデータが制限された場合、死亡予測の最先端手法よりも優れた予測性能を示す。
論文参考訳（メタデータ） (2021-07-29T19:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。