論文の概要: Large Language Models are Few-shot Multivariate Time Series Classifiers
- arxiv url: http://arxiv.org/abs/2502.00059v1
- Date: Thu, 30 Jan 2025 03:59:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:03:12.342416
- Title: Large Language Models are Few-shot Multivariate Time Series Classifiers
- Title（参考訳）: 大規模言語モデルは多変量時系列分類器である
- Authors: Yakun Chen, Zihao Li, Chao Yang, Xianzhi Wang, Guandong Xu,
- Abstract要約: 大規模言語モデル (LLM) は時系列解析に広く応用されている。
しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。
データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
- 参考スコア（独自算出の注目度）: 23.045734479292356
- License:
- Abstract: Large Language Models (LLMs) have been extensively applied in time series analysis. Yet, their utility in the few-shot classification (i.e., a crucial training scenario due to the limited training data available in industrial applications) concerning multivariate time series data remains underexplored. We aim to leverage the extensive pre-trained knowledge in LLMs to overcome the data scarcity problem within multivariate time series. Specifically, we propose LLMFew, an LLM-enhanced framework to investigate the feasibility and capacity of LLMs for few-shot multivariate time series classification. This model introduces a Patch-wise Temporal Convolution Encoder (PTCEnc) to align time series data with the textual embedding input of LLMs. We further fine-tune the pre-trained LLM decoder with Low-rank Adaptations (LoRA) to enhance its feature representation learning ability in time series data. Experimental results show that our model outperformed state-of-the-art baselines by a large margin, achieving 125.2% and 50.2% improvement in classification accuracy on Handwriting and EthanolConcentration datasets, respectively. Moreover, our experimental results demonstrate that LLM-based methods perform well across a variety of datasets in few-shot MTSC, delivering reliable results compared to traditional models. This success paves the way for their deployment in industrial environments where data are limited.
- Abstract（参考訳）: 大規模言語モデル(LLM)は時系列解析に広く応用されている。
しかし、多変量時系列データに関するいくつかの分類(産業アプリケーションで利用可能な訓練データに制限があるため、重要な訓練シナリオ)におけるそれらの実用性はいまだ検討されていない。
多変量時系列におけるデータ不足問題を克服するために, LLM における事前学習知識の広範な活用を目指している。
具体的には,LLM を拡張した LLMFew フレームワークを提案し,多変量時系列分類における LLM の実現可能性と能力について検討する。
このモデルでは、時系列データをLLMのテキスト埋め込み入力と整合させるために、Patch-wise Temporal Convolution Encoder (PTCEnc)を導入している。
さらに,事前学習したLLMデコーダをローランク適応(LoRA)で微調整し,時系列データの特徴表現学習能力を向上する。
実験の結果,本モデルでは,手書きデータセットとエタノール濃度データセットの分類精度が125.2%,50.2%向上した。
さらに, 実験結果から, LLM を用いた手法は, MTSC の多種多様なデータセット間で良好に動作し, 従来のモデルと比較して信頼性の高い結果が得られることを示した。
この成功は、データが限られている産業環境への展開の道を開くものだ。
関連論文リスト
- M-CELS: Counterfactual Explanation for Multivariate Time Series Data Guided by Learned Saliency Maps [0.9374652839580181]
M-CELSは,多次元時系列分類タスクにおける解釈可能性を高めるために設計された,対物的説明モデルである。
その結果, M-CELS の有効性, 近接性, 疎度に優れた性能を示した。
論文 参考訳（メタデータ） (2024-11-04T22:16:24Z) - Dynamic Uncertainty Ranking: Enhancing In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。
専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。
ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
論文 参考訳（メタデータ） (2024-10-31T03:42:17Z) - Revisited Large Language Model for Time Series Analysis through Modality Alignment [16.147350486106777]
大規模言語モデルは、センサデータ分析のような多くの重要なWebアプリケーションにおいて、印象的なパフォーマンスを示している。
本研究では,予測,分類,計算,異常検出など,主要な時系列タスクにLLMを適用することの有効性を評価する。
この結果から,LLMはこれらのコア時系列タスクに対して最小限のアドバンテージを提供し,データの時間構造を歪めてしまう可能性があることがわかった。
論文 参考訳（メタデータ） (2024-10-16T07:47:31Z) - 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。
我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。
実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
論文 参考訳（メタデータ） (2024-09-24T07:38:38Z) - An Evaluation of Standard Statistical Models and LLMs on Time Series Forecasting [16.583730806230644]
本研究では,大言語モデルが時系列予測の文脈で直面する重要な課題を明らかにする。
実験結果から、大規模な言語モデルは特定のデータセットのゼロショット予測において良好に機能するが、様々な時系列データや従来の信号に直面すると、予測精度は顕著に低下することが示された。
論文 参考訳（メタデータ） (2024-08-09T05:13:03Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。
近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。
本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
論文 参考訳（メタデータ） (2024-02-16T17:15:28Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series
Forecasters [12.887118862534331]
事前学習された大言語モデル(LLM)を用いた時系列予測のためのフレームワークを提案する。
LLM4TSは、LLMを時系列データのニュアンスに合わせるための2段階の微調整戦略と、下流の時系列予測タスクのためのテキスト予測微調整ステージから構成される。
我々のフレームワークは、事前訓練されたLLM内に多段階の時間データを統合し、時間固有の情報を解釈する能力を向上する新しい2段階集約手法を特徴としている。
論文 参考訳（メタデータ） (2023-08-16T16:19:50Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳（メタデータ） (2023-05-22T17:02:15Z) - Learning summary features of time series for likelihood free inference [93.08098361687722]
時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。
以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
論文 参考訳（メタデータ） (2020-12-04T19:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。