論文の概要: Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
- arxiv url: http://arxiv.org/abs/2310.01728v2
- Date: Mon, 29 Jan 2024 06:27:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 21:43:53.775626
- Title: Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
- Title(参考訳): 大規模言語モデルの再プログラムによる時系列予測
- Authors: Ming Jin, Shiyu Wang, Lintao Ma, Zhixuan Chu, James Y. Zhang, Xiaoming
Shi, Pin-Yu Chen, Yuxuan Liang, Yuan-Fang Li, Shirui Pan, Qingsong Wen
- Abstract要約: 時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
- 参考スコア(独自算出の注目度): 110.20279343734548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series forecasting holds significant importance in many real-world
dynamic systems and has been extensively studied. Unlike natural language
process (NLP) and computer vision (CV), where a single large model can tackle
multiple tasks, models for time series forecasting are often specialized,
necessitating distinct designs for different tasks and applications. While
pre-trained foundation models have made impressive strides in NLP and CV, their
development in time series domains has been constrained by data sparsity.
Recent studies have revealed that large language models (LLMs) possess robust
pattern recognition and reasoning abilities over complex sequences of tokens.
However, the challenge remains in effectively aligning the modalities of time
series data and natural language to leverage these capabilities. In this work,
we present Time-LLM, a reprogramming framework to repurpose LLMs for general
time series forecasting with the backbone language models kept intact. We begin
by reprogramming the input time series with text prototypes before feeding it
into the frozen LLM to align the two modalities. To augment the LLM's ability
to reason with time series data, we propose Prompt-as-Prefix (PaP), which
enriches the input context and directs the transformation of reprogrammed input
patches. The transformed time series patches from the LLM are finally projected
to obtain the forecasts. Our comprehensive evaluations demonstrate that
Time-LLM is a powerful time series learner that outperforms state-of-the-art,
specialized forecasting models. Moreover, Time-LLM excels in both few-shot and
zero-shot learning scenarios.
- Abstract(参考訳): 時系列予測は多くの実世界の力学系において重要であり、広く研究されている。
単一の大きなモデルが複数のタスクを処理できる自然言語プロセス(nlp)やコンピュータビジョン(cv)とは異なり、時系列予測のモデルはしばしば専門化され、異なるタスクやアプリケーションのために異なる設計が必要となる。
事前訓練された基礎モデルは、NLPとCVにおいて顕著な進歩を遂げてきたが、時系列領域におけるそれらの開発は、データの分散によって制約されている。
近年の研究では、大規模言語モデル(llm)が複雑なトークン列よりもロバストなパターン認識と推論能力を持っていることが示されている。
しかし、これらの能力を活用するために時系列データと自然言語のモダリティを効果的に整合させることが課題である。
本研究では,バックボーン言語モデルを用いて時系列予測を行うため,LLMを再利用するプログラミングフレームワークであるTime-LLMを提案する。
まず、入力時系列をテキストプロトタイプでプログラムし、凍結したLCMに入力して2つのモードを整列させる。
LLMの時系列データによる推論能力を高めるために,入力コンテキストを充実させ,再プログラムされた入力パッチの変換を指示するPrompt-as-Prefix (PaP)を提案する。
LLMから変換された時系列パッチは最終的に予測を得るために投影される。
我々の総合的な評価は、Time-LLMは最先端の特殊予測モデルを上回る強力な時系列学習者であることを示している。
さらに、Time-LLMは、数ショットとゼロショットの両方の学習シナリオで優れている。
関連論文リスト
- Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation [62.46869075841118]
我々はLLaTAと呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し、時系列予測課題におけるLLMの可能性を完全に解き放つ。
提案手法は, クロスモーダルな知識蒸留に基づいて, 入力に依存しない静的知識と, 事前学習LLMにおける入力依存動的知識の両方を利用する。
論文 参考訳(メタデータ) (2024-03-12T04:04:38Z) - Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳(メタデータ) (2024-02-07T13:51:26Z) - Empowering Time Series Analysis with Large Language Models: A Survey [24.202539098675953]
本稿では,大規模言語モデルを用いた時系列解析手法の体系的概要について述べる。
具体的には、まず、時系列の文脈で言語モデルを適用する際の課題とモチベーションについて述べる。
次に、既存のメソッドを異なるグループ(ダイレクトクエリ、トークン化、プロンプトデザイン、ファインチューン、モデル統合)に分類し、各グループにおける主要なアイデアを強調します。
論文 参考訳(メタデータ) (2024-02-05T16:46:35Z) - Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language
Models [72.77653698874678]
本稿では,大規模言語モデル(LLM)を自動回帰時系列予測器として活用するためにAutoTimesを提案する。
提案手法は, LLM, 追加テキスト, 時系列を命令として利用することにより, 顕著な手法の一般化を実現し, 性能の向上を実現している。
論文 参考訳(メタデータ) (2024-02-04T06:59:21Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Large Language Models Are Zero-Shot Time Series Forecasters [53.24444237828548]
時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。
GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
論文 参考訳(メタデータ) (2023-10-11T19:01:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。