論文の概要: LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series
Forecasters
- arxiv url: http://arxiv.org/abs/2308.08469v5
- Date: Thu, 18 Jan 2024 06:01:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 20:23:33.697208
- Title: LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series
Forecasters
- Title(参考訳): LLM4TS:データ効率の良い時系列フォアキャスターとしての事前学習LDMの調整
- Authors: Ching Chang, Wei-Yao Wang, Wen-Chih Peng, Tien-Fu Chen
- Abstract要約: 事前学習された大言語モデル(LLM)を用いた時系列予測のためのフレームワークを提案する。
LLM4TSは、LLMを時系列データのニュアンスに合わせるための2段階の微調整戦略と、下流の時系列予測タスクのためのテキスト予測微調整ステージから構成される。
我々のフレームワークは、事前訓練されたLLM内に多段階の時間データを統合し、時間固有の情報を解釈する能力を向上する新しい2段階集約手法を特徴としている。
- 参考スコア(独自算出の注目度): 12.887118862534331
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multivariate time-series forecasting is vital in various domains, e.g.,
economic planning and weather prediction. Deep train-from-scratch models have
exhibited effective performance yet require large amounts of data, which limits
real-world applicability. Recently, researchers have leveraged the
representation learning transferability of pre-trained Large Language Models
(LLMs) to handle limited non-linguistic datasets effectively. However,
incorporating LLMs with time-series data presents challenges of limited
adaptation due to different compositions between time-series and linguistic
data, and the inability to process multi-scale temporal information. To tackle
these challenges, we propose LLM4TS, a framework for time-series forecasting
with pre-trained LLMs. LLM4TS consists of a two-stage fine-tuning strategy: the
\textit{time-series alignment} stage to align LLMs with the nuances of
time-series data, and the \textit{forecasting fine-tuning} stage for downstream
time-series forecasting tasks. Furthermore, our framework features a novel
two-level aggregation method that integrates multi-scale temporal data within
pre-trained LLMs, enhancing their ability to interpret time-specific
information. In experiments across 7 time-series forecasting datasets, LLM4TS
is superior to existing state-of-the-art methods compared with
trained-from-scratch models in full-shot scenarios, and also achieves an
average improvement of 6.84% in MSE in few-shot scenarios. In addition,
evaluations compared with different self-supervised learning approaches
highlight LLM4TS's effectiveness with representation learning in forecasting
tasks.
- Abstract(参考訳): 多変量時系列予測は、経済計画や天気予報など、様々な分野において不可欠である。
ディープトレイン・トゥ・スクラッチモデルでは効果的な性能を示したが、大量のデータを必要とするため、現実の応用性が制限されている。
近年,事前学習された大規模言語モデル(LLM)の表現学習伝達性を活用して,限られた非言語データセットを効果的に処理している。
しかし, LLMを時系列データに組み込むことは, 時系列データと言語データとの組成の違いや, マルチスケールの時間情報処理が不可能なため, 適応が困難であることを示す。
これらの課題に対処するために,事前学習したLLMを用いて時系列予測を行うLLM4TSを提案する。
llm4tsは2段階の微調整戦略からなる: \textit{time-series alignment} ステージは時系列データのニュアンスと一致し、 \textit{forecasting fine-tuning} ステージは下流の時系列予測タスクである。
さらに,本フレームワークは,事前学習したLLM内に多段階のテンポラルデータを統合し,時間固有情報を解釈する能力を向上する,新たな2段階集約手法を備えている。
7つの時系列予測データセットに対する実験では、LLM4TSは、フルショットシナリオでのトレーニング済みのスクラッチモデルと比較して、既存の最先端手法よりも優れている。
さらに,予測タスクにおける表現学習によるLLM4TSの有効性を,異なる自己指導型学習手法と比較した評価を行った。
関連論文リスト
- LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
LLM2LLMは、教師のLLMを使用して、特定のタスクの微調整に使用できる追加データを追加することで、小さなシードデータセットを強化する。
GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
論文 参考訳(メタデータ) (2024-03-22T08:57:07Z) - Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation [62.46869075841118]
我々はLLaTAと呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し、時系列予測課題におけるLLMの可能性を完全に解き放つ。
提案手法は, クロスモーダルな知識蒸留に基づいて, 入力に依存しない静的知識と, 事前学習LLMにおける入力依存動的知識の両方を利用する。
論文 参考訳(メタデータ) (2024-03-12T04:04:38Z) - Time Series Forecasting with LLMs: Understanding and Enhancing Model
Capabilities [39.874834611685124]
大規模言語モデル(LLM)は近年,急速な発展を遂げた多くの分野に適用されている。
本稿では,LLMがパターンや傾向を明確にした時系列予測に優れるが,周期性に欠けるデータセットでは課題に直面していることを示す。
さらに, 入力戦略について検討し, 外部知識を取り入れ, 自然言語のパラフレーズを取り入れた場合, 時系列におけるLLMの予測性能に肯定的な影響が認められた。
論文 参考訳(メタデータ) (2024-02-16T17:15:28Z) - Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳(メタデータ) (2024-02-07T13:51:26Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language
Models [72.77653698874678]
本稿では,大規模言語モデル(LLM)を自動回帰時系列予測器として活用するためにAutoTimesを提案する。
提案手法は, LLM, 追加テキスト, 時系列を命令として利用することにより, 顕著な手法の一般化を実現し, 性能の向上を実現している。
論文 参考訳(メタデータ) (2024-02-04T06:59:21Z) - Large Language Models for Time Series: A Survey [34.24258745427964]
大規模言語モデル (LLM) は自然言語処理やコンピュータビジョンといった領域で広く利用されている。
LLMは、気候、IoT、ヘルスケア、トラフィック、オーディオ、ファイナンスといった分野の恩恵を受けながら、時系列データを分析する上で、大きな可能性を秘めている。
論文 参考訳(メタデータ) (2024-02-02T07:24:35Z) - Large Language Models Are Zero-Shot Time Series Forecasters [53.24444237828548]
時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。
GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
論文 参考訳(メタデータ) (2023-10-11T19:01:28Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。