論文の概要: TimelyGPT: Recurrent Convolutional Transformer for Long Time-series Representation

• arxiv url: http://arxiv.org/abs/2312.00817v1
• Date: Wed, 29 Nov 2023 19:09:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 03:32:08.566422
• Title: TimelyGPT: Recurrent Convolutional Transformer for Long Time-series Representation
• Title（参考訳）: TimelyGPT:ロング時系列表現のためのリカレント畳み込み変換器
• Authors: Ziyang Song, Qincheng Lu, Hao Xu, Yue Li
• Abstract要約: 時間生成型事前学習型トランスフォーマー(モデル)アーキテクチャを導入する。 モデルは、繰り返し注意と時間的畳み込みモジュールを統合して、長いシーケンスでグローバルな時間的依存関係をキャプチャする。 実験により, モデリングにおけるモデルエクセルは, 生体信号と不規則サンプリング時系列データとを連続的に監視していることがわかった。
• 参考スコア（独自算出の注目度）: 11.545641385218905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained models (PTMs) have gained prominence in Natural Language Processing and Computer Vision domains. When it comes to time-series PTMs, their development has been limited. Previous research on time-series transformers has mainly been devoted to small-scale tasks, yet these models have not consistently outperformed traditional models. Additionally, the performance of these transformers on large-scale data remains unexplored. These findings raise doubts about Transformer's capabilities to scale up and capture temporal dependencies. In this study, we re-examine time-series transformers and identify the shortcomings of prior studies. Drawing from these insights, we then introduce a pioneering architecture called Timely Generative Pre-trained Transformer (\model). This architecture integrates recurrent attention and temporal convolution modules to effectively capture global-local temporal dependencies in long sequences. The relative position embedding with time decay can effectively deal with trend and periodic patterns from time-series. Our experiments show that \model~excels in modeling continuously monitored biosignal as well as irregularly-sampled time-series data commonly observed in longitudinal electronic health records. This breakthrough suggests a priority shift in time-series deep learning research, moving from small-scale modeling from scratch to large-scale pre-training.
• Abstract（参考訳）: 事前訓練されたモデル(PTM)は自然言語処理とコンピュータビジョンドメインで注目されている。 時系列PTMに関しては、開発は限られている。 それまでの時系列変圧器の研究は、主に小規模の作業に費やされてきたが、これらのモデルが従来のモデルを一貫して上回っているわけではない。 さらに、大規模なデータに対するこれらのトランスフォーマーの性能は未調査のままである。 これらの発見はTransformerの時間的依存関係のスケールアップとキャプチャ機能に疑問を呈する。 本研究では,時系列変換器を再検討し,先行研究の欠点を明らかにする。 これらの知見から、我々はTimely Generative Pre-trained Transformer (\model)と呼ばれる先駆的なアーキテクチャを導入する。 このアーキテクチャは再帰的注意と時間的畳み込みモジュールを統合し、長いシーケンスでグローバルローカルな時間依存を効果的に捉える。 時間減衰に埋め込まれた相対的な位置は、時系列の傾向や周期的なパターンを効果的に扱うことができる。 本実験は, 生体信号の連続計測におけるモデル・エクセルと, 縦型電子健康記録でよく見られる不規則サンプリング時系列データについて検討した。 このブレークスルーは、小さなモデリングからスクラッチから大規模な事前トレーニングへと移行した、時系列ディープラーニング研究の優先度シフトを示唆する。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• TrajGPT: Irregular Time-Series Representation Learning for Health Trajectory Analysis [9.184876113048523]
  我々は、TrajGPT(Trajectory Generative Pre-trained Transformer)と呼ばれる時系列変換器を提案する。 TrajGPTは、文脈に基づいて無関係な過去の情報を適応的にフィルタリングするために、データ依存の減衰を用いる。 実験の結果,TrajGPTはタスク固有の微調整を必要とせず,軌跡予測,薬物使用予測,表現型分類に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T01:31:20Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Bidirectional Generative Pre-training for Improving Healthcare Time-series Representation Learning [9.621781933666844]
  我々は、BiTimely Generative Pre-trained Transformer (BiTimelyGPT) と呼ばれる新しいアーキテクチャを提案する。 BiTimelyGPTによる生体信号と経時的臨床記録の経時的変化予測 BiTimelyGPTは、生体信号と経時的臨床記録を用いて、神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-14T20:19:24Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• Split Time Series into Patches: Rethinking Long-term Series Forecasting with Dateformer [17.454822366228335]
  時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。 本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。 ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
  論文  参考訳（メタデータ） (2022-07-12T08:58:44Z)
• Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values [7.9405251142099464]
  本稿ではSTraTS(Self-supervised Transformer for TimeSeries)モデルを提案する。 伝統的な密度行列表現を使う代わりに、時系列を観測三重項の集合として扱う。 これは、特にラベル付きデータが制限された場合、死亡予測の最先端手法よりも優れた予測性能を示す。
  論文  参考訳（メタデータ） (2021-07-29T19:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。