論文の概要: Timer: Generative Pre-trained Transformers Are Large Time Series Models

• arxiv url: http://arxiv.org/abs/2402.02368v3
• Date: Fri, 18 Oct 2024 03:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:23:15.469537
• Title: Timer: Generative Pre-trained Transformers Are Large Time Series Models
• Title（参考訳）: Timer氏: 生成されたトレーニング済みトランスフォーマーは大規模な時系列モデル
• Authors: Yong Liu, Haoran Zhang, Chenyu Li, Xiangdong Huang, Jianmin Wang, Mingsheng Long,
• Abstract要約: 本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
• 参考スコア（独自算出の注目度）: 83.03091523806668
• License:
• Abstract: Deep learning has contributed remarkably to the advancement of time series analysis. Still, deep models can encounter performance bottlenecks in real-world data-scarce scenarios, which can be concealed due to the performance saturation with small models on current benchmarks. Meanwhile, large models have demonstrated great powers in these scenarios through large-scale pre-training. Continuous progress has been achieved with the emergence of large language models, exhibiting unprecedented abilities such as few-shot generalization, scalability, and task generality, which are however absent in small deep models. To change the status quo of training scenario-specific small models from scratch, this paper aims at the early development of large time series models (LTSM). During pre-training, we curate large-scale datasets with up to 1 billion time points, unify heterogeneous time series into single-series sequence (S3) format, and develop the GPT-style architecture toward LTSMs. To meet diverse application needs, we convert forecasting, imputation, and anomaly detection of time series into a unified generative task. The outcome of this study is a Time Series Transformer (Timer), which is generative pre-trained by next token prediction and adapted to various downstream tasks with promising capabilities as an LTSM. Code and datasets are available at: https://github.com/thuml/Large-Time-Series-Model.
• Abstract（参考訳）: 深層学習は時系列分析の進歩に大きく貢献している。 それでも、ディープモデルは、現在のベンチマークで小さなモデルでパフォーマンスが飽和しているため、実際のデータスカースシナリオでパフォーマンスのボトルネックに遭遇する可能性がある。 一方、大規模モデルはこれらのシナリオにおいて大規模な事前学習を通じて大きな力を発揮している。 大規模な言語モデルの出現によって継続的な進歩が達成され、小さな深層モデルでは欠落しているような、数ショットの一般化、スケーラビリティ、タスクの一般性といった前例のない能力を示した。 そこで本研究では,大規模時系列モデル(LTSM)の早期開発を目標として,シナリオ固有の小型モデルをスクラッチから変更する。 事前トレーニング中、最大10億のタイムポイントを持つ大規模データセットをキュレートし、異種時系列を単一系列シーケンス(S3)に統一し、LTSMに向けてGPTスタイルのアーキテクチャを開発する。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。 本研究の結果はTime Series Transformer (Timer) であり、次のトークン予測によって事前学習され、LTSMとして有望な機能を持つ様々な下流タスクに適応する。 コードとデータセットは、https://github.com/thuml/Large-Time-Series-Modelで入手できる。

関連論文リスト

• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
  既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。 我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。 我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
  論文  参考訳（メタデータ） (2024-08-19T06:23:41Z)
• MOMENT: A Family of Open Time-series Foundation Models [19.0845213853369]
  汎用時系列解析のためのオープンソース基盤モデルのファミリであるMOMENTを紹介する。 我々は、タイムシリーズパイル(Time series Pile)と呼ばれる公開時系列のコレクションをコンパイルし、時系列固有の課題に体系的に取り組みます。 我々は、様々なタスクやデータセットに関する時系列基礎モデルを、限られた監督設定で評価するためのベンチマークを設計するための最近の作業に基づいて構築する。
  論文  参考訳（メタデータ） (2024-02-06T10:48:46Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Deep Double Descent for Time Series Forecasting: Avoiding Undertrained Models [1.7243216387069678]
  公開時系列データセットでトレーニングしたトランスフォーマーモデルの深度二重降下について検討する。 72ベンチマークの70%近くで時系列時系列の予測を行う。 これは、文献の多くのモデルが未解決の可能性を秘めていることを示唆している。
  論文  参考訳（メタデータ） (2023-11-02T17:55:41Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。