論文の概要: Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain

• arxiv url: http://arxiv.org/abs/2310.05063v1
• Date: Tue, 10 Oct 2023 05:40:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 12:56:06.896691
• Title: Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain
• Title（参考訳）: CloudOpsドメインにおける時系列予測のための事前トレーニングの限界を押し上げる
• Authors: Gerald Woo, Chenghao Liu, Akshat Kumar, Doyen Sahoo
• Abstract要約: 本研究では,時系列モデルの事前学習とスケーリングに関する実証的な基礎研究を行う。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。
• 参考スコア（独自算出の注目度）: 54.67888148566323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series has been left behind in the era of pre-training and transfer learning. While research in the fields of natural language processing and computer vision are enjoying progressively larger datasets to train massive models, the most popular time series datasets consist of only tens of thousands of time steps, limiting our ability to study the effectiveness of pre-training and scaling. Recent studies have also cast doubt on the need for expressive models and scale. To alleviate these issues, we introduce three large-scale time series forecasting datasets from the cloud operations (CloudOps) domain, the largest having billions of observations, enabling further study into pre-training and scaling of time series models. We build the empirical groundwork for studying pre-training and scaling of time series models and pave the way for future research by identifying a promising candidate architecture. We show that it is a strong zero-shot baseline and benefits from further scaling, both in model and dataset size. Accompanying these datasets and results is a suite of comprehensive benchmark results comparing classical and deep learning baselines to our pre-trained method - achieving a 27% reduction in error on the largest dataset. Code and datasets will be released.
• Abstract（参考訳）: 事前トレーニングと転校学習の時代には、時系列は残されている。 自然言語処理とコンピュータビジョンの分野の研究は、大規模モデルをトレーニングするために徐々に拡大したデータセットを享受していますが、最も人気のある時系列データセットは数万の時間ステップで構成されており、事前トレーニングとスケーリングの有効性を研究できる能力は限られています。 近年の研究では、表現力のあるモデルやスケールの必要性も疑問視されている。 これらの問題を緩和するために、cloud operations(cloudops)ドメインからの3つの大規模時系列予測データセットを導入する。 本研究では,時系列モデルの事前学習とスケーリングに関する実証的な基盤を構築し,将来的な候補アーキテクチャの特定による今後の研究の道を開く。 これは強力なゼロショットベースラインであり、モデルサイズとデータセットサイズの両方において、さらなるスケーリングによるメリットがあります。 これらのデータセットと結果を取得することは、古典的およびディープラーニングのベースラインをトレーニング済みの方法と比較する包括的なベンチマーク結果のスイートです。 コードとデータセットがリリースされる。

関連論文リスト

• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Scaling Law for Time Series Forecasting [8.967263259533036]
  大規模データセット、複雑なモデル、強化されたデータの粒度に報いるスケーリング法則は、ディープラーニングの様々な分野において観察されている。 しかし、時系列予測の研究は、時系列予測のためのディープラーニング手法のスケーリング行動に疑問を投げかけている。 本稿では,このような異常な振る舞いを説明できる時系列予測法則のスケーリング理論を提案する。
  論文  参考訳（メタデータ） (2024-05-24T00:46:27Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。 これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• NuTime: Numerically Multi-Scaled Embedding for Large-Scale Time-Series Pretraining [28.595342663018627]
  時系列データの数値特性に合わせた重要な技術的貢献を行う。 入力をオーバーラップしないウィンドウに分割することでTransformerアーキテクチャを採用する。 任意の数値振幅を持つスカラー値を高次元空間に埋め込むために,数値的に多スケールな埋め込みモジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-11T11:38:18Z)
• AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset [25.935496432142976]
  知覚モデルが大規模なクラウドデータセットから学ぶことは、Autonomous Driving (AD)コミュニティの長期的なビジョンである。 我々は、ポイントクラウド事前トレーニングタスクを半教師付き問題として定式化し、少数のラベル付きおよび大規模ラベルなしのポイントクラウドデータを活用する。 我々は、異なるベースラインモデルの下で、nuScenesやKITTIを含む一連の下流認識ベンチマークにおいて、大幅な性能向上を達成する。
  論文  参考訳（メタデータ） (2023-06-01T12:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。