論文の概要: Integrating Time Series into LLMs via Multi-layer Steerable Embedding Fusion for Enhanced Forecasting

• arxiv url: http://arxiv.org/abs/2508.16059v1
• Date: Fri, 22 Aug 2025 03:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.236976
• Title: Integrating Time Series into LLMs via Multi-layer Steerable Embedding Fusion for Enhanced Forecasting
• Title（参考訳）: マルチ層ステアブル・エンベディング・フュージョンによるLCMへの時系列統合
• Authors: Zhuomin Chen, Dan Li, Jiahui Zhou, Shunyu Wu, Haozheng Ye, Jian Lou, See-Kiong Ng,
• Abstract要約: 時系列データ(TS)は様々なアプリケーション領域に分散しており、時系列予測(TSF)は基本的なタスクである。 既存の手法は、TS情報の浅い統合によって本質的に制約される。 我々は,より深い層におけるTS情報の進行的損失を軽減するために,多層ステアブル・エンベディング・フュージョン(MSEF)を提案する。
• 参考スコア（独自算出の注目度）: 44.91360223102709
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time series (TS) data are ubiquitous across various application areas, rendering time series forecasting (TSF) a fundamental task. With the astounding advances in large language models (LLMs), a variety of methods have been developed to adapt LLMs for time series forecasting. Despite unlocking the potential of LLMs in comprehending TS data, existing methods are inherently constrained by their shallow integration of TS information, wherein LLMs typically access TS representations at shallow layers, primarily at the input layer. This causes the influence of TS representations to progressively fade in deeper layers and eventually leads to ineffective adaptation between textual embeddings and TS representations. In this paper, we propose the Multi-layer Steerable Embedding Fusion (MSEF), a novel framework that enables LLMs to directly access time series patterns at all depths, thereby mitigating the progressive loss of TS information in deeper layers. Specifically, MSEF leverages off-the-shelf time series foundation models to extract semantically rich embeddings, which are fused with intermediate text representations across LLM layers via layer-specific steering vectors. These steering vectors are designed to continuously optimize the alignment between time series and textual modalities and facilitate a layer-specific adaptation mechanism that ensures efficient few-shot learning capabilities. Experimental results on seven benchmarks demonstrate significant performance improvements by MSEF compared with baselines, with an average reduction of 31.8% in terms of MSE. The code is available at https://github.com/One1sAll/MSEF.
• Abstract（参考訳）: 時系列データ(TS)は様々なアプリケーション領域に分散しており、時系列予測(TSF)は基本的なタスクである。 大規模言語モデル(LLM)の驚くべき進歩により、時系列予測にLLMを適用するための様々な手法が開発されている。 TSデータの理解においてLSMの可能性を解き放つ一方で、既存の手法はTS情報の浅い統合によって本質的に制約を受けており、LSMは一般的に、主に入力層において、浅い層でTS表現にアクセスする。 これにより、TS表現の影響はより深い層で徐々に弱まり、最終的にテキスト埋め込みとTS表現の非効率な適応につながる。 本稿では,多層ステアブル・エンベディング・フュージョン(MSEF, Multi-layer Steerable Embedding Fusion)を提案する。 具体的には、MSEFは既製の時系列基礎モデルを利用して意味的にリッチな埋め込みを抽出し、層固有のステアリングベクトルを介してLCM層をまたいだ中間テキスト表現と融合する。 これらのステアリングベクトルは、時系列とテキストのモダリティのアライメントを継続的に最適化し、効率的な数ショット学習機能を実現するための層固有の適応メカニズムを促進するように設計されている。 7つのベンチマーク実験の結果、MSEFはベースラインに比べて大幅に性能が向上し、MSEでは平均31.8%低下した。 コードはhttps://github.com/One1sAll/MSEFで入手できる。

関連論文リスト

• Semantic-Enhanced Time-Series Forecasting via Large Language Models [16.17642828644504]
  時系列予測は、金融、エネルギー、気象学、IoTアプリケーションにおいて重要な役割を果たす。 近年,大規模言語モデル(LLM)の一般化機能を活用して時系列予測に適応し,有望な性能を実現している。 本稿では,時系列の固有周期性と異常特性を探索し,意味空間に埋め込むセマンティック拡張LDM(SE-LLM)を提案する。
  論文  参考訳（メタデータ） (2025-08-11T07:19:21Z)
• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• TableTime: Reformulating Time Series Classification as Training-Free Table Understanding with Large Language Models [14.880203496664963]
  大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。 LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。 MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
  論文  参考訳（メタデータ） (2024-11-24T07:02:32Z)
• Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
  HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。 本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-24T12:32:19Z)
• SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
  投機的復号法(SD)は,LLM推論を品質を損なうことなく高速化するためのパラダイムとして広く用いられている。 本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。 実験により,SWIFTは生成したテキストの元の分布を保ちながら,1.3x-1.6x以上の高速化を実現することができることを示した。
  論文  参考訳（メタデータ） (2024-10-09T14:15:30Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。