論文の概要: Pushing the Limits of Pre-training for Time Series Forecasting in the
CloudOps Domain
- arxiv url: http://arxiv.org/abs/2310.05063v3
- Date: Tue, 5 Dec 2023 12:44:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 19:19:28.752877
- Title: Pushing the Limits of Pre-training for Time Series Forecasting in the
CloudOps Domain
- Title(参考訳): CloudOpsドメインにおける時系列予測のための事前トレーニングの限界を押し上げる
- Authors: Gerald Woo, Chenghao Liu, Akshat Kumar, Doyen Sahoo
- Abstract要約: クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。
強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。
これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
- 参考スコア(独自算出の注目度): 54.67888148566323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series has been left behind in the era of pre-training and transfer
learning. While research in the fields of natural language processing and
computer vision are enjoying progressively larger datasets to train massive
models, the most popular time series datasets consist of only tens of thousands
of time steps, limiting our ability to study the effectiveness of pre-training
and scaling. Recent studies have also cast doubt on the need for expressive
models and scale. To alleviate these issues, we introduce three large-scale
time series forecasting datasets from the cloud operations (CloudOps) domain,
the largest having billions of observations, enabling further study into
pre-training and scaling of time series models. We build the empirical
groundwork for studying pre-training and scaling of time series models and pave
the way for future research by identifying a promising candidate architecture.
We show that it is a strong zero-shot baseline and benefits from further
scaling, both in model and dataset size. Accompanying these datasets and
results is a suite of comprehensive benchmark results comparing classical and
deep learning baselines to our pre-trained method - achieving a 27% reduction
in error on the largest dataset. Code and datasets can be found
https://github.com/SalesforceAIResearch/pretrain-time-series-cloudops.
- Abstract(参考訳): 事前トレーニングと転校学習の時代には、時系列は残されている。
自然言語処理とコンピュータビジョンの分野の研究は、大規模モデルをトレーニングするために徐々に拡大したデータセットを享受していますが、最も人気のある時系列データセットは数万の時間ステップで構成されており、事前トレーニングとスケーリングの有効性を研究できる能力は限られています。
近年の研究では、表現力のあるモデルやスケールの必要性も疑問視されている。
これらの問題を緩和するために、cloud operations(cloudops)ドメインからの3つの大規模時系列予測データセットを導入する。
本研究では,時系列モデルの事前学習とスケーリングに関する実証的な基盤を構築し,将来的な候補アーキテクチャの特定による今後の研究の道を開く。
これは強力なゼロショットベースラインであり、モデルサイズとデータセットサイズの両方において、さらなるスケーリングによるメリットがあります。
これらのデータセットと結果を取得することは、古典的およびディープラーニングのベースラインをトレーニング済みの方法と比較する包括的なベンチマーク結果のスイートです。
コードとデータセットはhttps://github.com/SalesforceAIResearch/pretrain-time-series-cloudopsにある。
関連論文リスト
- Chronos: Learning the Language of Time Series [79.45082787390962]
Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。
クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
論文 参考訳(メタデータ) (2024-03-12T16:53:54Z) - Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-12T12:29:32Z) - Toward a Foundation Model for Time Series Data [34.1973242428317]
基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。
複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
論文 参考訳(メタデータ) (2023-10-05T21:44:50Z) - AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud
Dataset [25.935496432142976]
知覚モデルが大規模なクラウドデータセットから学ぶことは、Autonomous Driving (AD)コミュニティの長期的なビジョンである。
我々は、ポイントクラウド事前トレーニングタスクを半教師付き問題として定式化し、少数のラベル付きおよび大規模ラベルなしのポイントクラウドデータを活用する。
我々は、異なるベースラインモデルの下で、nuScenesやKITTIを含む一連の下流認識ベンチマークにおいて、大幅な性能向上を達成する。
論文 参考訳(メタデータ) (2023-06-01T12:32:52Z) - Continuous-time convolutions model of event sequences [53.36665135225617]
イベントシーケンスデータの巨大なサンプルは、eコマース、ヘルスケア、ファイナンスなど、さまざまなドメインで発生します。
利用可能なデータの量とクライアント毎のイベントシーケンスの長さは典型的には大きいため、長期的なモデリングが必要である。
時間内の事象の一様発生に適した連続畳み込みニューラルネットワークに基づくCOTIC法を提案する。
論文 参考訳(メタデータ) (2023-02-13T10:34:51Z) - The Effectiveness of Discretization in Forecasting: An Empirical Study
on Neural Time Series Models [15.281725756608981]
ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。
バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
論文 参考訳(メタデータ) (2020-05-20T15:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。