論文の概要: TimelyGPT: Recurrent Convolutional Transformer for Long Time-series
Representation
- arxiv url: http://arxiv.org/abs/2312.00817v1
- Date: Wed, 29 Nov 2023 19:09:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 03:32:08.566422
- Title: TimelyGPT: Recurrent Convolutional Transformer for Long Time-series
Representation
- Title(参考訳): TimelyGPT:ロング時系列表現のためのリカレント畳み込み変換器
- Authors: Ziyang Song, Qincheng Lu, Hao Xu, Yue Li
- Abstract要約: 時間生成型事前学習型トランスフォーマー(モデル)アーキテクチャを導入する。
モデルは、繰り返し注意と時間的畳み込みモジュールを統合して、長いシーケンスでグローバルな時間的依存関係をキャプチャする。
実験により, モデリングにおけるモデルエクセルは, 生体信号と不規則サンプリング時系列データとを連続的に監視していることがわかった。
- 参考スコア(独自算出の注目度): 11.545641385218905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained models (PTMs) have gained prominence in Natural Language
Processing and Computer Vision domains. When it comes to time-series PTMs,
their development has been limited. Previous research on time-series
transformers has mainly been devoted to small-scale tasks, yet these models
have not consistently outperformed traditional models. Additionally, the
performance of these transformers on large-scale data remains unexplored. These
findings raise doubts about Transformer's capabilities to scale up and capture
temporal dependencies. In this study, we re-examine time-series transformers
and identify the shortcomings of prior studies. Drawing from these insights, we
then introduce a pioneering architecture called Timely Generative Pre-trained
Transformer (\model). This architecture integrates recurrent attention and
temporal convolution modules to effectively capture global-local temporal
dependencies in long sequences. The relative position embedding with time decay
can effectively deal with trend and periodic patterns from time-series. Our
experiments show that \model~excels in modeling continuously monitored
biosignal as well as irregularly-sampled time-series data commonly observed in
longitudinal electronic health records. This breakthrough suggests a priority
shift in time-series deep learning research, moving from small-scale modeling
from scratch to large-scale pre-training.
- Abstract(参考訳): 事前訓練されたモデル(PTM)は自然言語処理とコンピュータビジョンドメインで注目されている。
時系列PTMに関しては、開発は限られている。
それまでの時系列変圧器の研究は、主に小規模の作業に費やされてきたが、これらのモデルが従来のモデルを一貫して上回っているわけではない。
さらに、大規模なデータに対するこれらのトランスフォーマーの性能は未調査のままである。
これらの発見はTransformerの時間的依存関係のスケールアップとキャプチャ機能に疑問を呈する。
本研究では,時系列変換器を再検討し,先行研究の欠点を明らかにする。
これらの知見から、我々はTimely Generative Pre-trained Transformer (\model)と呼ばれる先駆的なアーキテクチャを導入する。
このアーキテクチャは再帰的注意と時間的畳み込みモジュールを統合し、長いシーケンスでグローバルローカルな時間依存を効果的に捉える。
時間減衰に埋め込まれた相対的な位置は、時系列の傾向や周期的なパターンを効果的に扱うことができる。
本実験は, 生体信号の連続計測におけるモデル・エクセルと, 縦型電子健康記録でよく見られる不規則サンプリング時系列データについて検討した。
このブレークスルーは、小さなモデリングからスクラッチから大規模な事前トレーニングへと移行した、時系列ディープラーニング研究の優先度シフトを示唆する。
関連論文リスト
- TimeGPT in Load Forecasting: A Large Time Series Model Perspective [38.92798207166188]
機械学習モデルは、負荷予測に大きな進歩を遂げているが、過去の負荷データが不足している場合に、その予測精度は制限されている。
本稿では,負荷予測における時系列モデルの可能性について考察する。
論文 参考訳(メタデータ) (2024-04-07T09:05:09Z) - TimeXer: Empowering Transformers for Time Series Forecasting with
Exogenous Variables [82.07393844821522]
内因性変数の予測を強化するために外部情報を利用する新しいフレームワークであるTimeXerを提案する。
TimeXerは、内在変数による時系列予測を大幅に改善し、12の実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-29T11:54:35Z) - Poisson-Gamma Dynamical Systems with Non-Stationary Transition Dynamics [54.19709905569658]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳(メタデータ) (2024-02-26T04:39:01Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳(メタデータ) (2023-12-04T07:39:05Z) - MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series
Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。
本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。
時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文 参考訳(メタデータ) (2023-07-13T13:16:01Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳(メタデータ) (2022-10-02T06:58:49Z) - ETSformer: Exponential Smoothing Transformers for Time-series
Forecasting [35.76867542099019]
時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。
特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
論文 参考訳(メタデータ) (2022-02-03T02:50:44Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳(メタデータ) (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。