論文の概要: $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM
for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2403.05798v1
- Date: Sat, 9 Mar 2024 05:20:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:22:26.005493
- Title: $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM
for Time Series Forecasting
- Title（参考訳）: $\textbf{S}^2$IP-LLM: 時系列予測のためのLLMを用いた意味空間インフォームドプロンプト学習
- Authors: Zijie Pan, Yushan Jiang, Sahil Garg, Anderson Schneider, Yuriy
Nevmyvaka and Dongjin Song
- Abstract要約: 本稿では,LLM(S2$IP-LLM)を用いたセマンティック空間インフォームドプロンプト学習を提案し,事前学習された意味空間と時系列埋め込み空間とを整合させる。
提案した$S2$IP-LLMは,最先端のベースラインよりも優れた予測性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 23.228160368290187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, there has been a growing interest in leveraging pre-trained large
language models (LLMs) for various time series applications. However, the
semantic space of LLMs, established through the pre-training, is still
underexplored and may help yield more distinctive and informative
representations to facilitate time series forecasting. To this end, we propose
Semantic Space Informed Prompt learning with LLM ($S^2$IP-LLM) to align the
pre-trained semantic space with time series embeddings space and perform time
series forecasting based on learned prompts from the joint space. We first
design a tokenization module tailored for cross-modality alignment, which
explicitly concatenates patches of decomposed time series components to create
embeddings that effectively encode the temporal dynamics. Next, we leverage the
pre-trained word token embeddings to derive semantic anchors and align selected
anchors with time series embeddings by maximizing the cosine similarity in the
joint space. This way, $S^2$IP-LLM can retrieve relevant semantic anchors as
prompts to provide strong indicators (context) for time series that exhibit
different temporal dynamics. With thorough empirical studies on multiple
benchmark datasets, we demonstrate that the proposed $S^2$IP-LLM can achieve
superior forecasting performance over state-of-the-art baselines. Furthermore,
our ablation studies and visualizations verify the necessity of prompt learning
informed by semantic space.
- Abstract（参考訳）: 近年,様々な時系列アプリケーションに事前学習された大規模言語モデル(LLM)を活用することへの関心が高まっている。
しかし、事前学習を通じて確立されたLLMの意味空間はいまだ未熟であり、時系列予測を促進するためにより独特で情報的な表現を得るのに役立つかもしれない。
この目的のために,事前学習された意味空間を時系列埋め込み空間と整合させ,共同空間から学習したプロンプトに基づいて時系列予測を行うために,llm(s^2$ip-llm)を用いた意味空間インフォームドプロンプト学習を提案する。
我々はまず,分解された時系列成分のパッチを明示的に結合し,時間ダイナミクスを効果的にエンコードする埋め込みを生成するクロスモダリティアライメントのためのトークン化モジュールを設計した。
次に,事前学習した単語トークンの埋め込みを利用して意味アンカーを導出し,結合空間におけるコサイン類似性を最大化することにより,選択したアンカーを時系列埋め込みと整合させる。
これにより、$S^2$IP-LLMは関連するセマンティックアンカーを検索し、異なる時間的ダイナミクスを示す時系列に対して強い指標(コンテキスト)を提供する。
複数のベンチマークデータセットに関する徹底した実証研究により、提案する$s^2$ip-llmが最先端のベースラインよりも優れた予測性能を達成できることを実証する。
さらに,我々のアブレーション研究と可視化は,意味空間から情報を得た迅速な学習の必要性を検証する。
関連論文リスト
- TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models [54.44272772296578]
大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。
LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。
MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
論文 参考訳（メタデータ） (2024-11-24T07:02:32Z) - Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。
本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-24T12:32:19Z) - Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳（メタデータ） (2024-02-07T13:51:26Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳（メタデータ） (2024-02-04T13:10:51Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。
時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。
AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文 参考訳（メタデータ） (2024-02-04T06:59:21Z) - How Can Large Language Models Understand Spatial-Temporal Data? [12.968952073740796]
本稿では,時空間予測に大規模言語モデルを活用する革新的なアプローチSTG-LLMを紹介する。
1 STG-Tokenizer: この空間時間グラフトークンは、複雑なグラフデータを、空間的および時間的関係の両方を捉える簡潔なトークンに変換する; 2) STG-Adapter: 線形符号化層と復号層からなるこの最小限のアダプタは、トークン化されたデータとLCMの理解のギャップを埋める。
論文 参考訳（メタデータ） (2024-01-25T14:03:15Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-03-01T08:33:16Z) - Interpretable Time-series Representation Learning With Multi-Level
Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。
DTSは時系列の解釈可能な表現として階層的意味概念を生成する。
DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-05-17T22:02:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。