論文の概要: Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2403.07300v1
- Date: Tue, 12 Mar 2024 04:04:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:50:46.486592
- Title: Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation
- Title(参考訳): クロスモーダル知識蒸留による一般化時系列予測のための事前学習LDMのモデリング
- Authors: Peiyuan Liu, Hang Guo, Tao Dai, Naiqi Li, Jigang Bao, Xudong Ren, Yong
Jiang, Shu-Tao Xia
- Abstract要約: 我々はLLaTAと呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し、時系列予測課題におけるLLMの可能性を完全に解き放つ。
提案手法は, クロスモーダルな知識蒸留に基づいて, 入力に依存しない静的知識と, 事前学習LLMにおける入力依存動的知識の両方を利用する。
- 参考スコア(独自算出の注目度): 62.46869075841118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multivariate time series forecasting has recently gained great success with
the rapid growth of deep learning models. However, existing approaches usually
train models from scratch using limited temporal data, preventing their
generalization. Recently, with the surge of the Large Language Models (LLMs),
several works have attempted to introduce LLMs into time series forecasting.
Despite promising results, these methods directly take time series as the input
to LLMs, ignoring the inherent modality gap between temporal and text data. In
this work, we propose a novel Large Language Models and time series alignment
framework, dubbed LLaTA, to fully unleash the potentials of LLMs in the time
series forecasting challenge. Based on cross-modal knowledge distillation, the
proposed method exploits both input-agnostic static knowledge and
input-dependent dynamic knowledge in pre-trained LLMs. In this way, it empowers
the forecasting model with favorable performance as well as strong
generalization abilities. Extensive experiments demonstrate the proposed method
establishes a new state of the art for both long- and short-term forecasting.
Code is available at \url{https://github.com/Hank0626/LLaTA}.
- Abstract(参考訳): 多変量時系列予測は近年,ディープラーニングモデルの急速な成長によって大きな成功を収めている。
しかし、既存のアプローチは通常、限られた時間データを使ってモデルをスクラッチからトレーニングし、一般化を妨げている。
近年,Large Language Models (LLM) の急激な普及に伴い,LLMを時系列予測に導入する試みがいくつかある。
有望な結果にもかかわらず、これらの手法は時系列を直接 LLM への入力とし、時間データとテキストデータの間に固有のモダリティギャップを無視する。
本研究では,LLaTA と呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し,時系列予測問題における LLM の可能性を完全に解き放つ。
提案手法は,事前学習されたllmにおいて,入力非依存な静的知識と入力依存動的知識の両方を利用する。
このようにして、予測モデルに優れた性能と強力な一般化能力を与える。
広範な実験により,提案手法が長期予測と短期予測の両方のための新しい状態を確立することを実証した。
コードは \url{https://github.com/Hank0626/LLaTA} で入手できる。
関連論文リスト
- Time Series Forecasting with LLMs: Understanding and Enhancing Model
Capabilities [39.874834611685124]
大規模言語モデル(LLM)は近年,急速な発展を遂げた多くの分野に適用されている。
本稿では,LLMがパターンや傾向を明確にした時系列予測に優れるが,周期性に欠けるデータセットでは課題に直面していることを示す。
さらに, 入力戦略について検討し, 外部知識を取り入れ, 自然言語のパラフレーズを取り入れた場合, 時系列におけるLLMの予測性能に肯定的な影響が認められた。
論文 参考訳(メタデータ) (2024-02-16T17:15:28Z) - Empowering Time Series Analysis with Large Language Models: A Survey [24.202539098675953]
本稿では,大規模言語モデルを用いた時系列解析手法の体系的概要について述べる。
具体的には、まず、時系列の文脈で言語モデルを適用する際の課題とモチベーションについて述べる。
次に、既存のメソッドを異なるグループ(ダイレクトクエリ、トークン化、プロンプトデザイン、ファインチューン、モデル統合)に分類し、各グループにおける主要なアイデアを強調します。
論文 参考訳(メタデータ) (2024-02-05T16:46:35Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language
Models [72.77653698874678]
本稿では,大規模言語モデル(LLM)を自動回帰時系列予測器として活用するためにAutoTimesを提案する。
提案手法は, LLM, 追加テキスト, 時系列を命令として利用することにより, 顕著な手法の一般化を実現し, 性能の向上を実現している。
論文 参考訳(メタデータ) (2024-02-04T06:59:21Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - Large Language Models Are Zero-Shot Time Series Forecasters [53.24444237828548]
時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。
GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
論文 参考訳(メタデータ) (2023-10-11T19:01:28Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series
Forecasters [12.887118862534331]
事前学習された大言語モデル(LLM)を用いた時系列予測のためのフレームワークを提案する。
LLM4TSは、LLMを時系列データのニュアンスに合わせるための2段階の微調整戦略と、下流の時系列予測タスクのためのテキスト予測微調整ステージから構成される。
我々のフレームワークは、事前訓練されたLLM内に多段階の時間データを統合し、時間固有の情報を解釈する能力を向上する新しい2段階集約手法を特徴としている。
論文 参考訳(メタデータ) (2023-08-16T16:19:50Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。