論文の概要: Large Language Models Are Zero-Shot Time Series Forecasters
- arxiv url: http://arxiv.org/abs/2310.07820v3
- Date: Mon, 12 Aug 2024 00:43:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 00:48:29.022434
- Title: Large Language Models Are Zero-Shot Time Series Forecasters
- Title(参考訳): 大規模言語モデルはゼロショットの時系列予測言語である
- Authors: Nate Gruver, Marc Finzi, Shikai Qiu, Andrew Gordon Wilson,
- Abstract要約: 時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。
GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
- 参考スコア(独自算出の注目度): 48.73953666153385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By encoding time series as a string of numerical digits, we can frame time series forecasting as next-token prediction in text. Developing this approach, we find that large language models (LLMs) such as GPT-3 and LLaMA-2 can surprisingly zero-shot extrapolate time series at a level comparable to or exceeding the performance of purpose-built time series models trained on the downstream tasks. To facilitate this performance, we propose procedures for effectively tokenizing time series data and converting discrete distributions over tokens into highly flexible densities over continuous values. We argue the success of LLMs for time series stems from their ability to naturally represent multimodal distributions, in conjunction with biases for simplicity, and repetition, which align with the salient features in many time series, such as repeated seasonal trends. We also show how LLMs can naturally handle missing data without imputation through non-numerical text, accommodate textual side information, and answer questions to help explain predictions. While we find that increasing model size generally improves performance on time series, we show GPT-4 can perform worse than GPT-3 because of how it tokenizes numbers, and poor uncertainty calibration, which is likely the result of alignment interventions such as RLHF.
- Abstract(参考訳): 時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。
このアプローチにより,GPT-3 や LLaMA-2 のような大規模言語モデル(LLM)は,ダウンストリームタスクでトレーニングされた目的構築された時系列モデルに匹敵する,あるいはそれ以上の性能で驚くほどゼロショット・エクスポレート・時系列を生成できることがわかった。
そこで本稿では, 時系列データを効果的にトークン化し, トークン上の離散分布を連続値上の高い柔軟性のある密度に変換する手法を提案する。
時系列におけるLCMの成功は, 季節的傾向の繰り返しなど, 時系列における顕著な特徴に則った, 単純さのバイアスと反復性とともに, 多モーダル分布を自然に表現する能力に起因している,と我々は主張する。
また,LLMが非数値テキストを通さずに自然に欠落したデータを処理し,テキスト側情報を適応し,予測を説明するための質問に答える方法を示す。
モデルサイズの増加は一般的に時系列のパフォーマンスを向上させるが、GPT-4は数値のトークン化の仕方や不確かさの校正によってGPT-3よりも悪化し、RLHFのようなアライメント介入の結果である可能性が示唆された。
関連論文リスト
- Are Language Models Actually Useful for Time Series Forecasting? [21.378728572776897]
大規模言語モデル(LLM)は時系列タスク、特に時系列予測に応用されている。
LLM成分を除去したり,基本的な注意層に置き換えたりしても,予測結果は劣化しないことがわかった。
また、事前訓練されたLLMは、スクラッチからトレーニングされたモデルに匹敵せず、時系列のシーケンシャルな依存関係を表現せず、数ショットの設定を補助していないこともわかりました。
論文 参考訳(メタデータ) (2024-06-22T03:33:38Z) - TimeCMA: Towards LLM-Empowered Time Series Forecasting via Cross-Modality Alignment [21.690191536424567]
TimeCMAは、モーダリティ間のアライメントを伴う時系列予測のフレームワークである。
実データに関する大規模な実験は、提案したフレームワークの精度と効率に関する洞察を提供する。
論文 参考訳(メタデータ) (2024-06-03T00:27:29Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
本稿では,時系列セグメントを埋め込み空間に独立に投影し,任意の長さで将来予測を自動回帰的に生成する自動回帰時系列予測器としてAutoTimesを提案する。
AutoTimesは、高度なLSMベースの予測装置と比較して、0.1%のトレーニング可能なパラメータと5倍以上のトレーニング/推論のスピードアップで最先端を実現している。
論文 参考訳(メタデータ) (2024-02-04T06:59:21Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳(メタデータ) (2023-01-08T12:20:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。