論文の概要: Timer: Transformers for Time Series Analysis at Scale

• arxiv url: http://arxiv.org/abs/2402.02368v1
• Date: Sun, 4 Feb 2024 06:55:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 20:28:19.495382
• Title: Timer: Transformers for Time Series Analysis at Scale
• Title（参考訳）: Timer: スケールでの時系列分析のためのトランスフォーマー
• Authors: Yong Liu, Haoran Zhang, Chenyu Li, Xiangdong Huang, Jianmin Wang, Mingsheng Long
• Abstract要約: 本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
• 参考スコア（独自算出の注目度）: 87.9808714449511
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning has contributed remarkably to the advancement of time series analysis. Still, deep models can encounter performance bottlenecks in real-world small-sample scenarios, which can be concealed due to the performance saturation with small models on current benchmarks. Meanwhile, large models have demonstrated great powers in these scenarios through large-scale pre-training. Continuous progresses have been achieved as the emergence of large language models, exhibiting unprecedented ability in few-shot generalization, scalability, and task generality, which is however absent in time series models. To change the current practices of training small models on specific datasets from scratch, this paper aims at an early development of large time series models (LTSM). During pre-training, we curate large-scale datasets with up to 1 billion time points, unify heterogeneous time series into single-series sequence (S3) format, and develop the GPT-style architecture toward LTSMs. To meet diverse application needs, we convert forecasting, imputation, and anomaly detection of time series into a unified generative task. The outcome of this study is a Time Series Transformer (Timer), that is pre-trained by autoregressive next token prediction on large multi-domain datasets, and is fine-tuned to downstream scenarios with promising abilities as an LTSM.
• Abstract（参考訳）: 深層学習は時系列分析の進歩に大きく貢献している。 それでも、実世界の小さなサンプルシナリオでは、深いモデルはパフォーマンスのボトルネックに遭遇する可能性がある。 一方、大規模モデルはこれらのシナリオにおいて大規模な事前学習を通じて大きな力を発揮している。 大規模言語モデルの出現は、数ショットの一般化、スケーラビリティ、タスクの汎用性において前例のない能力を示すが、時系列モデルでは欠落している。 特定のデータセット上で小さなモデルをスクラッチからトレーニングする現在のプラクティスを変えるため、本論文は大規模時系列モデル(ltsm)の初期開発を目指している。 事前トレーニング中、最大10億のタイムポイントを持つ大規模データセットをキュレートし、異種時系列を単一系列シーケンス(S3)に統一し、LTSMに向けてGPTスタイルのアーキテクチャを開発する。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。 本研究の成果は時系列トランスフォーマー(timer)であり,大規模マルチドメインデータセットに対する自動回帰次トークン予測によって事前学習され,ltsmとして有望な能力を持つ下流シナリオに微調整される。

関連論文リスト

• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
  既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。 我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。 我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
  論文  参考訳（メタデータ） (2024-08-19T06:23:41Z)
• MOMENT: A Family of Open Time-series Foundation Models [19.0845213853369]
  汎用時系列解析のためのオープンソース基盤モデルのファミリであるMOMENTを紹介する。 我々は、タイムシリーズパイル(Time series Pile)と呼ばれる公開時系列のコレクションをコンパイルし、時系列固有の課題に体系的に取り組みます。 我々は、様々なタスクやデータセットに関する時系列基礎モデルを、限られた監督設定で評価するためのベンチマークを設計するための最近の作業に基づいて構築する。
  論文  参考訳（メタデータ） (2024-02-06T10:48:46Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Deep Double Descent for Time Series Forecasting: Avoiding Undertrained Models [1.7243216387069678]
  公開時系列データセットでトレーニングしたトランスフォーマーモデルの深度二重降下について検討する。 72ベンチマークの70%近くで時系列時系列の予測を行う。 これは、文献の多くのモデルが未解決の可能性を秘めていることを示唆している。
  論文  参考訳（メタデータ） (2023-11-02T17:55:41Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。