論文の概要: AutoTimes: Autoregressive Time Series Forecasters via Large Language
Models
- arxiv url: http://arxiv.org/abs/2402.02370v1
- Date: Sun, 4 Feb 2024 06:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 20:14:25.266745
- Title: AutoTimes: Autoregressive Time Series Forecasters via Large Language
Models
- Title(参考訳): AutoTimes: 大規模言語モデルによる自動回帰時系列予測
- Authors: Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long
- Abstract要約: 本稿では,大規模言語モデル(LLM)を自動回帰時系列予測器として活用するためにAutoTimesを提案する。
提案手法は, LLM, 追加テキスト, 時系列を命令として利用することにより, 顕著な手法の一般化を実現し, 性能の向上を実現している。
- 参考スコア(独自算出の注目度): 72.77653698874678
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Foundation models of time series have not been fully developed due to the
limited availability of large-scale time series and the underexploration of
scalable pre-training. Based on the similar sequential structure of time series
and natural language, increasing research demonstrates the feasibility of
leveraging large language models (LLM) for time series. Nevertheless, prior
methods may overlook the consistency in aligning time series and natural
language, resulting in insufficient utilization of the LLM potentials. To fully
exploit the general-purpose token transitions learned from language modeling,
we propose AutoTimes to repurpose LLMs as Autoregressive Time series
forecasters, which is consistent with the acquisition and utilization of LLMs
without updating the parameters. The consequent forecasters can handle flexible
series lengths and achieve competitive performance as prevalent models.
Further, we present token-wise prompting that utilizes corresponding timestamps
to make our method applicable to multimodal scenarios. Analysis demonstrates
our forecasters inherit zero-shot and in-context learning capabilities of LLMs.
Empirically, AutoTimes exhibits notable method generality and achieves enhanced
performance by basing on larger LLMs, additional texts, or time series as
instructions.
- Abstract(参考訳): 時系列の基礎モデルは、大規模時系列の可用性の限界と、拡張性のある事前学習の過小評価のため、完全には開発されていない。
時系列と自然言語の類似した逐次構造に基づいて,大規模言語モデル(LLM)を時系列に活用する可能性を示す研究が増えている。
それでも、事前の手法は時系列と自然言語の整合性を見落とし、LLMポテンシャルの不十分な利用をもたらす可能性がある。
言語モデリングから得られた汎用トークン遷移をフル活用するために,パラメータを更新することなくLPMの取得と利用と整合した自動回帰時系列予測器として,LLMを再利用するAutoTimesを提案する。
連続予測器はフレキシブルな直列長を処理でき、一般的なモデルとして競合性能を達成することができる。
さらに,この手法をマルチモーダルシナリオに適用するために,対応するタイムスタンプを利用するトークンワイドプロンプトを提案する。
解析により,LLMのゼロショットおよびインコンテキスト学習機能を引き継ぐことができる。
実証的に、AutoTimesは優れたメソッドの汎用性を示し、より大きなLLM、追加のテキスト、命令として時系列をベースとしたパフォーマンスの向上を実現している。
関連論文リスト
- Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation [62.46869075841118]
我々はLLaTAと呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し、時系列予測課題におけるLLMの可能性を完全に解き放つ。
提案手法は, クロスモーダルな知識蒸留に基づいて, 入力に依存しない静的知識と, 事前学習LLMにおける入力依存動的知識の両方を利用する。
論文 参考訳(メタデータ) (2024-03-12T04:04:38Z) - Time Series Forecasting with LLMs: Understanding and Enhancing Model
Capabilities [39.874834611685124]
大規模言語モデル(LLM)は近年,急速な発展を遂げた多くの分野に適用されている。
本稿では,LLMがパターンや傾向を明確にした時系列予測に優れるが,周期性に欠けるデータセットでは課題に直面していることを示す。
さらに, 入力戦略について検討し, 外部知識を取り入れ, 自然言語のパラフレーズを取り入れた場合, 時系列におけるLLMの予測性能に肯定的な影響が認められた。
論文 参考訳(メタデータ) (2024-02-16T17:15:28Z) - Empowering Time Series Analysis with Large Language Models: A Survey [24.202539098675953]
本稿では,大規模言語モデルを用いた時系列解析手法の体系的概要について述べる。
具体的には、まず、時系列の文脈で言語モデルを適用する際の課題とモチベーションについて述べる。
次に、既存のメソッドを異なるグループ(ダイレクトクエリ、トークン化、プロンプトデザイン、ファインチューン、モデル統合)に分類し、各グループにおける主要なアイデアを強調します。
論文 参考訳(メタデータ) (2024-02-05T16:46:35Z) - Position Paper: What Can Large Language Models Tell Us about Time Series
Analysis [72.33053089061899]
現在の大規模言語モデル(LLM)は時系列解析に革命をもたらす可能性があると我々は主張する。
このような進歩は、モダリティスイッチングや時系列質問応答など、幅広い可能性を解き放つ可能性がある。
論文 参考訳(メタデータ) (2024-02-05T04:17:49Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Large Language Models Are Zero-Shot Time Series Forecasters [53.24444237828548]
時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。
GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
論文 参考訳(メタデータ) (2023-10-11T19:01:28Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。