論文の概要: Chronos: Learning the Language of Time Series
- arxiv url: http://arxiv.org/abs/2403.07815v1
- Date: Tue, 12 Mar 2024 16:53:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 20:30:43.649798
- Title: Chronos: Learning the Language of Time Series
- Title(参考訳): Chronos: 時系列の言語を学ぶ
- Authors: Abdul Fatir Ansari, Lorenzo Stella, Caner Turkmen, Xiyuan Zhang, Pedro
Mercado, Huibin Shen, Oleksandr Shchur, Syama Sundar Rangapuram, Sebastian
Pineda Arango, Shubham Kapoor, Jasper Zschiegner, Danielle C. Maddix, Michael
W. Mahoney, Kari Torkkola, Andrew Gordon Wilson, Michael Bohlke-Schneider,
Yuyang Wang
- Abstract要約: Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。
クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
- 参考スコア(独自算出の注目度): 79.45082787390962
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Chronos, a simple yet effective framework for pretrained
probabilistic time series models. Chronos tokenizes time series values using
scaling and quantization into a fixed vocabulary and trains existing
transformer-based language model architectures on these tokenized time series
via the cross-entropy loss. We pretrained Chronos models based on the T5 family
(ranging from 20M to 710M parameters) on a large collection of publicly
available datasets, complemented by a synthetic dataset that we generated via
Gaussian processes to improve generalization. In a comprehensive benchmark
consisting of 42 datasets, and comprising both classical local models and deep
learning methods, we show that Chronos models: (a) significantly outperform
other methods on datasets that were part of the training corpus; and (b) have
comparable and occasionally superior zero-shot performance on new datasets,
relative to methods that were trained specifically on them. Our results
demonstrate that Chronos models can leverage time series data from diverse
domains to improve zero-shot accuracy on unseen forecasting tasks, positioning
pretrained models as a viable tool to greatly simplify forecasting pipelines.
- Abstract(参考訳): 我々は、事前訓練された確率時系列モデルのためのシンプルで効果的なフレームワークChronosを紹介する。
chronosは、スケールと量子化を使って時系列値を固定語彙にトークン化し、クロスエントロピー損失によってこれらのトークン化された時系列の既存のトランスフォーマベースの言語モデルアーキテクチャを訓練する。
T5ファミリー(20Mから710Mパラメータ)をベースとしたChronosモデルを,ガウス過程を通じて生成した合成データセットを補完し,一般化を向上した。
42のデータセットからなり、古典的局所モデルと深層学習の両方からなる包括的なベンチマークでは、クロノスモデルが示される。
(a)トレーニングコーパスの一部であるデータセットの他の方法よりも著しく優れており、
b) 新たなデータセットに対して,特に訓練された手法と比較して,ゼロショット性能が同等で,しかも例外的に優れている。
以上の結果から,Chronosモデルでは,様々な領域の時系列データを利用して,未知の予測タスクのゼロショット精度を向上し,事前学習したモデルを実行可能なツールとして位置づけることで,予測パイプラインを大幅に単純化できることが示された。
関連論文リスト
- Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-12T12:29:32Z) - Large Language Models Are Zero-Shot Time Series Forecasters [53.24444237828548]
時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。
GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
論文 参考訳(メタデータ) (2023-10-11T19:01:28Z) - Pushing the Limits of Pre-training for Time Series Forecasting in the
CloudOps Domain [54.67888148566323]
クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。
強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。
これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
論文 参考訳(メタデータ) (2023-10-08T08:09:51Z) - Toward a Foundation Model for Time Series Data [34.1973242428317]
基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。
複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
論文 参考訳(メタデータ) (2023-10-05T21:44:50Z) - Unified Long-Term Time-Series Forecasting Benchmark [0.6526824510982802]
本稿では,時系列予測のための包括的データセットを提案する。
多様な動的システムと実生活記録から得られたデータセットのコレクションを組み込んだ。
多様なシナリオにおいて最も効果的なモデルを決定するために、古典的および最先端のモデルを用いて広範なベンチマーク分析を行う。
本研究は,これらのモデルの性能比較を興味深いものにし,モデルの有効性のデータセット依存性を強調した。
論文 参考訳(メタデータ) (2023-09-27T18:59:00Z) - Improving the Accuracy of Global Forecasting Models using Time Series
Data Augmentation [7.38079566297881]
GFM(Global Forecasting Models)として知られる多くの時系列のセットでトレーニングされた予測モデルは、競争や実世界のアプリケーションを予測する上で有望な結果を示している。
本稿では,GFMモデルのベースライン精度を向上させるための,データ拡張に基づく新しい予測フレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-06T13:52:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。