Fugu-MT 論文翻訳(概要): $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

論文の概要: $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

arxiv url: http://arxiv.org/abs/2403.05798v2
Date: Sun, 7 Jul 2024 19:14:34 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 02:19:20.939422
Title: $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting
Title（参考訳）: $\textbf{S}^2$IP-LLM: 時系列予測のためのLLMを用いた意味空間インフォームドプロンプト学習
Authors: Zijie Pan, Yushan Jiang, Sahil Garg, Anderson Schneider, Yuriy Nevmyvaka, Dongjin Song,
Abstract要約: 本稿では,LLM(S2$IP-LLM)を用いたセマンティック空間インフォームドプロンプト学習を提案し,事前学習された意味空間と時系列埋め込み空間とを整合させる。提案した$S2$IP-LLMは,最先端のベースラインよりも優れた予測性能が得られることを示す。
参考スコア（独自算出の注目度）: 21.921303835714628
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recently, there has been a growing interest in leveraging pre-trained large language models (LLMs) for various time series applications. However, the semantic space of LLMs, established through the pre-training, is still underexplored and may help yield more distinctive and informative representations to facilitate time series forecasting. To this end, we propose Semantic Space Informed Prompt learning with LLM ($S^2$IP-LLM) to align the pre-trained semantic space with time series embeddings space and perform time series forecasting based on learned prompts from the joint space. We first design a tokenization module tailored for cross-modality alignment, which explicitly concatenates patches of decomposed time series components to create embeddings that effectively encode the temporal dynamics. Next, we leverage the pre-trained word token embeddings to derive semantic anchors and align selected anchors with time series embeddings by maximizing the cosine similarity in the joint space. This way, $S^2$IP-LLM can retrieve relevant semantic anchors as prompts to provide strong indicators (context) for time series that exhibit different temporal dynamics. With thorough empirical studies on multiple benchmark datasets, we demonstrate that the proposed $S^2$IP-LLM can achieve superior forecasting performance over state-of-the-art baselines. Furthermore, our ablation studies and visualizations verify the necessity of prompt learning informed by semantic space.
Abstract（参考訳）: 近年,様々な時系列アプリケーションに事前学習された大規模言語モデル(LLM)を活用することへの関心が高まっている。しかし、事前学習を通じて確立されたLLMの意味空間はいまだ未熟であり、時系列予測を促進するためにより独特で情報的な表現を得るのに役立つかもしれない。そこで本研究では,LLM(S^2$IP-LLM)を用いたSemantic Space Informed Prompt Learningを提案する。まず、時間的ダイナミクスを効果的にエンコードする埋め込みを生成するために、分解された時系列コンポーネントのパッチを明示的に結合した、相互モダリティアライメントに適したトークン化モジュールを設計する。次に,事前学習した単語トークンの埋め込みを利用して意味的アンカーを導出し,結合空間におけるコサイン類似性を最大化することにより,選択したアンカーを時系列埋め込みと整合させる。これにより、$S^2$IP-LLMは関連するセマンティックアンカーを検索し、異なる時間的ダイナミクスを示す時系列に対して強いインジケータ(コンテキスト)を提供する。複数のベンチマークデータセットに関する詳細な実証研究により、提案した$S^2$IP-LLMは、最先端のベースラインよりも優れた予測性能が得られることを示した。さらに,我々のアブレーション研究と可視化は,意味空間から情報を得た迅速な学習の必要性を検証している。

関連論文リスト

TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。 TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
論文参考訳（メタデータ） (2025-02-17T04:17:27Z)
Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
論文参考訳（メタデータ） (2024-12-06T18:22:59Z)
Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning [1.7892194562398749]
本稿では, NNCL-TLLM: Nearest Neighbor Contrastive Learning for Time Series forecasting via Large Language Modelsを提案する。まず、時系列互換テキストプロトタイプを作成し、各テキストプロトタイプは、その近傍に単語トークンを埋め込んだり、時系列の特徴を表現したりする。次に、LLMの層正規化と位置埋め込みを微調整し、他の層をそのままに保ち、トレーニング可能なパラメータを減らし、計算コストを削減した。
論文参考訳（メタデータ） (2024-12-06T06:32:47Z)
Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
論文参考訳（メタデータ） (2024-10-24T12:32:19Z)
TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment [21.690191536424567]
TimeCMAは、時系列予測のための直感的で効果的なフレームワークである。 8つの実際のデータセットに対する大規模な実験は、TimeCMAが最先端のデータセットを上回っていることを示している。
論文参考訳（メタデータ） (2024-06-03T00:27:29Z)
Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文参考訳（メタデータ） (2024-02-07T13:51:26Z)
TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文参考訳（メタデータ） (2024-02-04T13:10:51Z)
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文参考訳（メタデータ） (2024-02-04T06:59:21Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文参考訳（メタデータ） (2021-05-17T22:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。