論文の概要: Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning

• arxiv url: http://arxiv.org/abs/2412.04806v1
• Date: Fri, 06 Dec 2024 06:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:58:02.544567
• Title: Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning
• Title（参考訳）: 最寄りのコントラスト学習によるLCMによる時系列予測の再考
• Authors: Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge,
• Abstract要約: 本稿では, NNCL-TLLM: Nearest Neighbor Contrastive Learning for Time Series forecasting via Large Language Modelsを提案する。 まず、時系列互換テキストプロトタイプを作成し、各テキストプロトタイプは、その近傍に単語トークンを埋め込んだり、時系列の特徴を表現したりする。 次に、LLMの層正規化と位置埋め込みを微調整し、他の層をそのままに保ち、トレーニング可能なパラメータを減らし、計算コストを削減した。
• 参考スコア（独自算出の注目度）: 1.7892194562398749
• License:
• Abstract: Adapting Large Language Models (LLMs) that are extensively trained on abundant text data, and customizing the input prompt to enable time series forecasting has received considerable attention. While recent work has shown great potential for adapting the learned prior of LLMs, the formulation of the prompt to finetune LLMs remains challenging as prompt should be aligned with time series data. Additionally, current approaches do not effectively leverage word token embeddings which embody the rich representation space learned by LLMs. This emphasizes the need for a robust approach to formulate the prompt which utilizes the word token embeddings while effectively representing the characteristics of the time series. To address these challenges, we propose NNCL-TLLM: Nearest Neighbor Contrastive Learning for Time series forecasting via LLMs. First, we generate time series compatible text prototypes such that each text prototype represents both word token embeddings in its neighborhood and time series characteristics via end-to-end finetuning. Next, we draw inspiration from Nearest Neighbor Contrastive Learning to formulate the prompt while obtaining the top-$k$ nearest neighbor time series compatible text prototypes. We then fine-tune the layer normalization and positional embeddings of the LLM, keeping the other layers intact, reducing the trainable parameters and decreasing the computational cost. Our comprehensive experiments demonstrate that NNCL-TLLM outperforms in few-shot forecasting while achieving competitive or superior performance over the state-of-the-art methods in long-term and short-term forecasting tasks.
• Abstract（参考訳）: 豊富なテキストデータに基づいて広範囲に訓練された大規模言語モデル(LLM)に適応し、時系列予測を可能にする入力プロンプトをカスタマイズすることが注目されている。 最近の研究は、LLMの学習に先立つ大きな可能性を示しているが、LLMを微調整するプロンプトの定式化は、時系列データに合わせるべきであるため、依然として困難である。 加えて、現在のアプローチでは、LLMが学習したリッチな表現空間を具現化したワードトークンの埋め込みを効果的に活用していない。 これは、時系列の特徴を効果的に表現しながら、トークンの埋め込みを利用したプロンプトを定式化するための堅牢なアプローチの必要性を強調している。 これらの課題に対処するために, NNCL-TLLM: Nearest Neighbor Contrastive Learning for Time series forecasting via LLMsを提案する。 まず,各テキストのプロトタイプが近傍に単語トークンの埋め込みを表現し,エンドツーエンドのファインタニングによって時系列特性を表現できるように,時系列互換のテキストプロトタイプを生成する。 次に、最も近い隣のコントラスト学習からインスピレーションを得てプロンプトを定式化し、近隣の時系列互換テキストプロトタイプのトップ$kを入手する。 次に、LLMの層正規化と位置埋め込みを微調整し、他の層をそのままに保ち、トレーニング可能なパラメータを減らし、計算コストを削減した。 NNCL-TLLMは, 長期的, 短期的な予測タスクにおいて, 最先端の手法に対して, 競争力や優れた性能を保ちながら, 数ショット予測において優れた性能を発揮することを示した。

関連論文リスト

• TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models [54.44272772296578]
  大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。 LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。 MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
  論文  参考訳（メタデータ） (2024-11-24T07:02:32Z)
• Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
  HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。 本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-24T12:32:19Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting [21.921303835714628]
  本稿では,LLM(S2$IP-LLM)を用いたセマンティック空間インフォームドプロンプト学習を提案し,事前学習された意味空間と時系列埋め込み空間とを整合させる。 提案した$S2$IP-LLMは,最先端のベースラインよりも優れた予測性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-03-09T05:20:48Z)
• Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
  大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。 近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。 本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-02-16T17:15:28Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Understanding the Role of Textual Prompts in LLM for Time Series Forecasting: an Adapter View [21.710722062737577]
  大規模言語モデル(LLM)の急成長する領域では、時系列予測にLLMを適用することへの関心が高まっている。 本研究の目的は,LLMへのテキストプロンプトの統合が時系列の予測精度を効果的に向上させる方法と理由を理解することである。
  論文  参考訳（メタデータ） (2023-11-24T16:32:47Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。