論文の概要: Chronos: Learning the Language of Time Series

• arxiv url: http://arxiv.org/abs/2403.07815v2
• Date: Thu, 2 May 2024 16:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 21:31:27.647166
• Title: Chronos: Learning the Language of Time Series
• Title（参考訳）: Chronos: 時系列の言語を学ぶ
• Authors: Abdul Fatir Ansari, Lorenzo Stella, Caner Turkmen, Xiyuan Zhang, Pedro Mercado, Huibin Shen, Oleksandr Shchur, Syama Sundar Rangapuram, Sebastian Pineda Arango, Shubham Kapoor, Jasper Zschiegner, Danielle C. Maddix, Hao Wang, Michael W. Mahoney, Kari Torkkola, Andrew Gordon Wilson, Michael Bohlke-Schneider, Yuyang Wang,
• Abstract要約: Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 79.38691251254173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Chronos, a simple yet effective framework for pretrained probabilistic time series models. Chronos tokenizes time series values using scaling and quantization into a fixed vocabulary and trains existing transformer-based language model architectures on these tokenized time series via the cross-entropy loss. We pretrained Chronos models based on the T5 family (ranging from 20M to 710M parameters) on a large collection of publicly available datasets, complemented by a synthetic dataset that we generated via Gaussian processes to improve generalization. In a comprehensive benchmark consisting of 42 datasets, and comprising both classical local models and deep learning methods, we show that Chronos models: (a) significantly outperform other methods on datasets that were part of the training corpus; and (b) have comparable and occasionally superior zero-shot performance on new datasets, relative to methods that were trained specifically on them. Our results demonstrate that Chronos models can leverage time series data from diverse domains to improve zero-shot accuracy on unseen forecasting tasks, positioning pretrained models as a viable tool to greatly simplify forecasting pipelines.
• Abstract（参考訳）: 我々は、事前訓練された確率時系列モデルのためのシンプルで効果的なフレームワークであるChronosを紹介する。 Chronosは、スケーリングと量子化を使用して時系列値を固定語彙にトークン化し、これらのトークン化された時系列上で既存のトランスフォーマーベースの言語モデルアーキテクチャをクロスエントロピー損失によって訓練する。 T5ファミリー(20Mから710Mパラメータ)をベースとしたChronosモデルを,ガウス過程を通じて生成した合成データセットを補完し,一般化を向上した。 42のデータセットからなり、古典的局所モデルと深層学習の両方からなる総合的なベンチマークでは、クロノスモデルが示される。 (a)トレーニングコーパスの一部であるデータセットにおいて、他の方法よりも格段に優れ、 b) 新たなデータセットに対して,特に訓練された手法と比較して,ゼロショット性能が同等で,しかも例外的に優れている。 以上の結果から,Chronosモデルは様々な領域の時系列データを利用して,未知の予測タスクのゼロショット精度を向上し,事前学習したモデルを実行可能なツールとして位置づけることで,予測パイプラインを大幅に単純化できることが示唆された。

関連論文リスト

• Zero-Shot Load Forecasting with Large Language Models [40.604618284659736]
  本稿では,Chronos モデルで表される高度な LLM フレームワークを用いたゼロショット負荷予測手法を提案する。 トレーニング済みの広範な知識を利用することで、Chronosモデルは、広範なデータ固有のトレーニングを必要とせずに、データスカースシナリオの正確な負荷予測を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T07:39:46Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Toward a Foundation Model for Time Series Data [34.1973242428317]
  基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。 複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
  論文  参考訳（メタデータ） (2023-10-05T21:44:50Z)
• Improving the Accuracy of Global Forecasting Models using Time Series Data Augmentation [7.38079566297881]
  GFM(Global Forecasting Models)として知られる多くの時系列のセットでトレーニングされた予測モデルは、競争や実世界のアプリケーションを予測する上で有望な結果を示している。 本稿では,GFMモデルのベースライン精度を向上させるための,データ拡張に基づく新しい予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-06T13:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。