論文の概要: LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters

• arxiv url: http://arxiv.org/abs/2308.08469v6
• Date: Thu, 20 Feb 2025 16:48:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:25:04.700810
• Title: LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters
• Title（参考訳）: LLM4TS:データ効率の良い時系列フォアキャスターとしての事前学習型LCMの調整
• Authors: Ching Chang, Wei-Yao Wang, Wen-Chih Peng, Tien-Fu Chen,
• Abstract要約: 事前学習された大言語モデル(LLM)を用いた時系列予測のためのフレームワークを提案する。 LLM4TSは、LLMを時系列データのニュアンスと整合させる2段階の微調整戦略と、下流の時系列予測タスクの予測微調整段階から構成される。 我々のフレームワークは、事前訓練されたLLM内に多段階の時間データを統合し、時間固有の情報を解釈する能力を向上する新しい2段階集約手法を特徴としている。
• 参考スコア（独自算出の注目度）: 11.796765525301051
• License:
• Abstract: Multivariate time-series forecasting is vital in various domains, e.g., economic planning and weather prediction. Deep train-from-scratch models have exhibited effective performance yet require large amounts of data, which limits real-world applicability. Recently, researchers have leveraged the representation learning transferability of pre-trained Large Language Models (LLMs) to handle limited non-linguistic datasets effectively. However, incorporating LLMs with time-series data presents challenges of limited adaptation due to different compositions between time-series and linguistic data, and the inability to process multi-scale temporal information. To tackle these challenges, we propose LLM4TS, a framework for time-series forecasting with pre-trained LLMs. LLM4TS consists of a two-stage fine-tuning strategy: the time-series alignment stage to align LLMs with the nuances of time-series data, and the forecasting fine-tuning stage for downstream time-series forecasting tasks. Furthermore, our framework features a novel two-level aggregation method that integrates multi-scale temporal data within pre-trained LLMs, enhancing their ability to interpret time-specific information. In experiments across 7 time-series forecasting datasets, LLM4TS is superior to existing state-of-the-art methods compared with trained-from-scratch models in full-shot scenarios, and also achieves the highest rank in few-shot scenarios. In addition, evaluations compared with different unsupervised representation learning approaches highlight LLM4TS's effectiveness with representation learning in forecasting tasks. Ablation studies further validate each component's contribution to LLM4TS and underscore the essential role of utilizing LLM's pre-trained weights for optimal performance. The code is available at https://github.com/blacksnail789521/LLM4TS.
• Abstract（参考訳）: 多変量時系列予測は、経済計画や天気予報など、様々な領域において不可欠である。 ディープトレイン・トゥ・スクラッチモデルでは効果的な性能を示したが、大量のデータを必要とするため、現実の応用性が制限されている。 近年,事前学習された大規模言語モデル(LLM)の表現学習伝達性を活用して,限られた非言語データセットを効果的に処理している。 しかし, LLMを時系列データに組み込むことは, 時系列データと言語データとの組成の違いや, マルチスケールの時間情報処理が不可能なため, 適応が困難であることを示す。 これらの課題に対処するために,事前学習したLLMを用いて時系列予測を行うフレームワークであるLLM4TSを提案する。 LLM4TSは、時系列アライメントステージと時系列データのニュアンスを一致させる2段階の微調整ステージと、下流の時系列予測タスクの予測微調整ステージで構成されている。 さらに,本フレームワークは,事前学習したLLM内に多段階のテンポラルデータを統合し,時間固有情報を解釈する能力を向上する,新しい2段階集約手法を特徴としている。 7つの時系列予測データセットを対象とした実験では、LLM4TSは、フルショットシナリオにおけるトレーニング済みのスクラッチモデルと比較して、既存の最先端手法よりも優れており、数ショットシナリオでは最高ランクを達成している。 さらに、異なる教師なし表現学習手法との比較により、予測タスクにおける表現学習によるLLM4TSの有効性を強調した。 アブレーション研究は、LLM4TSへの各コンポーネントの貢献をさらに検証し、LLMのトレーニング済み重量を最適性能に活用する上で重要な役割を浮き彫りにした。 コードはhttps://github.com/blacksnail789521/LLM4TSで公開されている。

関連論文リスト

• TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
  TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。 TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。 実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-17T04:17:27Z)
• Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
  大規模言語モデル (LLM) は時系列解析に広く応用されている。 しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。 データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
  論文  参考訳（メタデータ） (2025-01-30T03:59:59Z)
• ChatTS: Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning [10.854285913078257]
  本稿では,時系列解析用に設計された新しいMLLMであるChatTSを紹介する。 ChatTSは、視覚MLLMが画像を処理する方法と同様、時系列をモダリティとして扱う。 Time Series Evol-Instructは様々な時系列Q&Aを生成し、モデルの推論能力を高めます。
  論文  参考訳（メタデータ） (2024-12-04T08:06:15Z)
• LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting [0.08795040582681389]
  LLM-Mixerは、マルチスケールの時系列分解と事前学習したLCMを組み合わせることで予測精度を向上させるフレームワークである。 データを複数の時間分解能に分解することで、短期的変動と長期的傾向の両方をキャプチャする。
  論文  参考訳（メタデータ） (2024-10-15T15:08:57Z)
• 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
  時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 LLMの入力に生テキストを直接統合しても、ゼロショット補間性能は向上しないことがわかった。 対照的に、特定の複雑なイベントや微調整LDMに生テキストを組み込むことで、性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-07-16T11:58:54Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
  大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。 近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。 本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-02-16T17:15:28Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。