論文の概要: AutoTimes: Autoregressive Time Series Forecasters via Large Language Models

• arxiv url: http://arxiv.org/abs/2402.02370v4
• Date: Thu, 31 Oct 2024 11:37:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:59:05.332176
• Title: AutoTimes: Autoregressive Time Series Forecasters via Large Language Models
• Title（参考訳）: AutoTimes: 大規模言語モデルによる自動回帰時系列予測
• Authors: Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long,
• Abstract要約: AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
• 参考スコア（独自算出の注目度）: 67.83502953961505
• License:
• Abstract: Foundation models of time series have not been fully developed due to the limited availability of time series corpora and the underexploration of scalable pre-training. Based on the similar sequential formulation of time series and natural language, increasing research demonstrates the feasibility of leveraging large language models (LLM) for time series. Nevertheless, the inherent autoregressive property and decoder-only architecture of LLMs have not been fully considered, resulting in insufficient utilization of LLM abilities. To fully revitalize the general-purpose token transition and multi-step generation capability of large language models, we propose AutoTimes to repurpose LLMs as autoregressive time series forecasters, which projects time series into the embedding space of language tokens and autoregressively generates future predictions with arbitrary lengths. Compatible with any decoder-only LLMs, the consequent forecaster exhibits the flexibility of the lookback length and scalability with larger LLMs. Further, we formulate time series as prompts, extending the context for prediction beyond the lookback window, termed in-context forecasting. By introducing LLM-embedded textual timestamps, AutoTimes can utilize chronological information to align multivariate time series. Empirically, AutoTimes achieves state-of-the-art with 0.1% trainable parameters and over $5\times$ training/inference speedup compared to advanced LLM-based forecasters. Code is available at this repository: https://github.com/thuml/AutoTimes.
• Abstract（参考訳）: 時系列コーパスの不足や、拡張性のある事前学習の過小評価のため、時系列の基礎モデルは十分に開発されていない。 時系列と自然言語の類似の逐次定式化に基づいて,大規模言語モデル(LLM)を時系列に活用できる可能性を示す研究が増えている。 しかし, LLMの自己回帰特性とデコーダのみのアーキテクチャは十分に考慮されていないため, LLMの能力は不十分である。 大規模言語モデルの汎用トークン遷移と多段階生成機能を完全に活性化するため,自動回帰時系列予測器としてLLMを再利用するAutoTimesを提案し,時系列を言語トークンの埋め込み空間に投影し,任意の長さで将来の予測を自動回帰的に生成する。 デコーダのみのLLMと互換性があり、その結果の予測器は、より大きなLLMでルックバック長とスケーラビリティの柔軟性を示す。 さらに、時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 LLM組み込みのテキストタイムスタンプを導入することで、AutoTimesは時系列情報を利用して多変量時系列を調整できる。 実証的に、AutoTimesは訓練可能なパラメータが0.1%、トレーニング/推論のスピードアップが5\times$である最先端のLSMベースの予測システムに比べて達成される。 コードは、このリポジトリで入手できる。

関連論文リスト

• Towards Time Series Reasoning with LLMs [0.4369058206183195]
  本稿では,ゼロショット性能の強い領域にまたがる一般化可能な情報を学習する,新しいマルチモーダル時系列LPM手法を提案する。 提案モデルでは,特定の時系列特徴を反映した潜時表現を学習し,ゼロショット推論タスクのセットにおいてGPT-4oより優れることを示す。
  論文  参考訳（メタデータ） (2024-09-17T17:23:44Z)
• Are Language Models Actually Useful for Time Series Forecasting? [21.378728572776897]
  LLM成分を除去したり,基本的な注意層に置き換えたりしても,予測性能は低下しないことがわかった。 また、計算コストがかなり高いにもかかわらず、事前訓練されたLLMは、スクラッチから訓練されたモデルに劣らないことが判明した。 我々は時系列エンコーダを探索し、パッチとアテンション構造がLLMベースの予測器と同様に動作することを示す。
  論文  参考訳（メタデータ） (2024-06-22T03:33:38Z)
• TimeCMA: Towards LLM-Empowered Time Series Forecasting via Cross-Modality Alignment [21.690191536424567]
  TimeCMAは、モーダリティ間のアライメントを伴う時系列予測のフレームワークである。 実データに関する大規模な実験は、提案したフレームワークの精度と効率に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-03T00:27:29Z)
• Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
  大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。 近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。 本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-02-16T17:15:28Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。