Fugu-MT 論文翻訳(概要): LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters

論文の概要: LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters

arxiv url: http://arxiv.org/abs/2308.08469v4
Date: Wed, 3 Jan 2024 12:24:57 GMT
ステータス: 処理完了
システム内更新日: 2024-01-04 16:43:49.231301
Title: LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters
Title（参考訳）: LLM4TS:データ効率の良い時系列フォアキャスターとしての事前学習LDMの調整
Authors: Ching Chang, Wei-Yao Wang, Wen-Chih Peng, Tien-Fu Chen
Abstract要約: 事前学習された大言語モデル(LLM)を用いた時系列予測のためのフレームワークを提案する。 LLM4TSは、時系列データのニュアンスにLLMを合わせるための2段階の微調整戦略と、時系列予測タスクに特化して設計された予測微調整段階から構成される。我々のフレームワークは、事前訓練されたLLM内に多段階の時間データを統合し、時間固有の情報を解釈する能力を向上する新しい2段階集約手法を特徴としている。
参考スコア（独自算出の注目度）: 12.887118862534331
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multivariate time-series forecasting is vital in various domains, e.g., economic planning and weather prediction. Deep train-from-scratch models have exhibited effective performance yet require large amounts of data, which limits real-world applicability. Recently, researchers have explored pre-trained Large Language Models (LLMs) for limited non-linguistic datasets. However, incorporating LLMs with time-series data presents challenges of limited adaptation due to different compositions between time-series and linguistic data, and the inability to process multi-scale temporal information. To tackle these challenges, we propose LLM4TS, a framework for time-series forecasting with pre-trained LLMs. LLM4TS consists of a two-stage fine-tuning strategy: the time-series alignment stage to align LLMs with the nuances of time-series data, and the forecasting fine-tuning stage, which is specifically designed for time-series forecasting tasks. Furthermore, our framework features a novel two-level aggregation method that integrates multi-scale temporal data within pre-trained LLMs, enhancing their ability to interpret time-specific information. In experiments across 7 time-series forecasting datasets, LLM4TS is superior to existing state-of-the-art methods, including those trained from scratch, in full-shot scenarios, and also achieves an average improvement of 6.84% in MSE in few-shot scenarios. In addition, evaluations compared with different self-supervised learning approaches highlight LLM4TS's effectiveness with representation learning in forecasting scenarios.
Abstract（参考訳）: 多変量時系列予測は、経済計画や天気予報など、様々な分野において不可欠である。ディープトレイン・トゥ・スクラッチモデルでは効果的な性能を示したが、大量のデータを必要とするため、現実の応用性が制限されている。最近、研究者は限定的な非言語データセットのための事前訓練されたLarge Language Models (LLMs)を探索している。しかし, LLMを時系列データに組み込むことは, 時系列データと言語データとの組成の違いや, マルチスケールの時間情報処理が不可能なため, 適応が困難であることを示す。これらの課題に対処するために,事前学習したLLMを用いて時系列予測を行うLLM4TSを提案する。 llm4tsは2段階の微調整戦略から成り、llmを時系列データのニュアンスに合わせる時系列アライメントステージと、時系列予測タスク用に特別に設計された予測微調整ステージである。さらに,本フレームワークは,事前学習したLLM内に多段階のテンポラルデータを統合し,時間固有情報を解釈する能力を向上する,新たな2段階集約手法を備えている。 7つの時系列予測データセットにわたる実験において、llm4tsは、フルショットシナリオにおいて、スクラッチからトレーニングされたものを含む、既存の最先端の方法よりも優れている。さらに,予測シナリオにおける表現学習によるLLM4TSの有効性について,自己指導型学習手法との比較を行った。

関連論文リスト

TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models [54.44272772296578]
大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。 LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。 MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
論文参考訳（メタデータ） (2024-11-24T07:02:32Z)
Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文参考訳（メタデータ） (2024-10-24T17:56:08Z)
LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting [0.08795040582681389]
LLM-Mixerは、マルチスケールの時系列分解と事前学習したLCMを組み合わせることで予測精度を向上させるフレームワークである。データを複数の時間分解能に分解することで、短期的変動と長期的傾向の両方をキャプチャする。
論文参考訳（メタデータ） (2024-10-15T15:08:57Z)
Empirical Insights on Fine-Tuning Large Language Models for Question-Answering [50.12622877002846]
大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
論文参考訳（メタデータ） (2024-09-24T07:38:38Z)
An Evaluation of Standard Statistical Models and LLMs on Time Series Forecasting [16.583730806230644]
本研究では,大言語モデルが時系列予測の文脈で直面する重要な課題を明らかにする。実験結果から、大規模な言語モデルは特定のデータセットのゼロショット予測において良好に機能するが、様々な時系列データや従来の信号に直面すると、予測精度は顕著に低下することが示された。
論文参考訳（メタデータ） (2024-08-09T05:13:03Z)
A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 LLMの入力に生テキストを直接統合しても、ゼロショット補間性能は向上しないことがわかった。対照的に、特定の複雑なイベントや微調整LDMに生テキストを組み込むことで、性能が大幅に向上する。
論文参考訳（メタデータ） (2024-07-16T11:58:54Z)
Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
論文参考訳（メタデータ） (2024-02-16T17:15:28Z)
Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文参考訳（メタデータ） (2024-02-07T13:51:26Z)
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文参考訳（メタデータ） (2024-02-04T06:59:21Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。