論文の概要: Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2310.08278v3
• Date: Thu, 8 Feb 2024 05:49:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 18:58:26.517976
• Title: Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting
• Title（参考訳）: Lag-Llama: 確率的時系列予測のための基礎モデルを目指して
• Authors: Kashif Rasul, Arjun Ashok, Andrew Robert Williams, Hena Ghonia, Rishika Bhagwatkar, Arian Khorasani, Mohammad Javad Darvishi Bayazi, George Adamopoulos, Roland Riachi, Nadhir Hassen, Marin Bilo\v{s}, Sahil Garg, Anderson Schneider, Nicolas Chapados, Alexandre Drouin, Valentina Zantedeschi, Yuriy Nevmyvaka, Irina Rish
• Abstract要約: 本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 54.04430089029033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past years, foundation models have caused a paradigm shift in machine learning due to their unprecedented capabilities for zero-shot and few-shot generalization. However, despite the success of foundation models in modalities such as natural language processing and computer vision, the development of foundation models for time series forecasting has lagged behind. We present Lag-Llama, a general-purpose foundation model for univariate probabilistic time series forecasting based on a decoder-only transformer architecture that uses lags as covariates. Lag-Llama is pretrained on a large corpus of diverse time series data from several domains, and demonstrates strong zero-shot generalization capabilities compared to a wide range of forecasting models on downstream datasets across domains. Moreover, when fine-tuned on relatively small fractions of such previously unseen datasets, Lag-Llama achieves state-of-the-art performance, outperforming prior deep learning approaches, emerging as the best general-purpose model on average. Lag-Llama serves as a strong contender to the current state-of-art in time series forecasting and paves the way for future advancements in foundation models tailored to time series data.
• Abstract（参考訳）: 過去数年間、基礎モデルはゼロショットと少数ショットの一般化のための前例のない能力のために機械学習のパラダイムシフトを引き起こしてきた。 しかし、自然言語処理やコンピュータビジョンといったモダリティの基盤モデルの成功にもかかわらず、時系列予測のための基礎モデルの開発は遅れを取っている。 我々は,ラグを共変量として用いるデコーダのみのトランスフォーマーアーキテクチャに基づく,不定値確率時系列予測のための汎用基礎モデルであるlag-llamaを提案する。 lag-llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前学習されており、ダウンストリームデータセット上の幅広い予測モデルと比較して、強力なゼロショット一般化能力を示している。 さらに、これらの未確認データセットの比較的小さな部分で微調整された場合、Lag-Llamaは最先端のパフォーマンスを達成し、従来のディープラーニングアプローチよりも優れ、平均して最高の汎用モデルとして出現する。 lag-llamaは、現在の時系列予測における最先端の候補となり、時系列データに合わせた基礎モデルの将来の進歩への道を開く。

関連論文リスト

• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントに28のデータセットが含まれている。 また、約2300億のデータポイントを含む非学習事前学習データセットも提供します。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Scaling Law for Time Series Forecasting [8.967263259533036]
  大規模データセット、複雑なモデル、強化されたデータの粒度に報いるスケーリング法則は、ディープラーニングの様々な分野において観察されている。 しかし、時系列予測の研究は、時系列予測のためのディープラーニング手法のスケーリング行動に疑問を投げかけている。 本稿では,このような異常な振る舞いを説明できる時系列予測法則のスケーリング理論を提案する。
  論文  参考訳（メタデータ） (2024-05-24T00:46:27Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• A decoder-only foundation model for time-series forecasting [23.824504640087753]
  我々のモデルは,大規模時系列コーパス上でパッチ付きデコーダスタイルのアテンションモデルを事前学習することに基づいている。 予測履歴の長さ、予測長、時間的粒度の異なる範囲でうまく機能する。
  論文  参考訳（メタデータ） (2023-10-14T17:01:37Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Improving the Accuracy of Global Forecasting Models using Time Series Data Augmentation [7.38079566297881]
  GFM(Global Forecasting Models)として知られる多くの時系列のセットでトレーニングされた予測モデルは、競争や実世界のアプリケーションを予測する上で有望な結果を示している。 本稿では,GFMモデルのベースライン精度を向上させるための,データ拡張に基づく新しい予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-06T13:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。