論文の概要: Fusing Large Language Models with Temporal Transformers for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2507.10098v1
• Date: Mon, 14 Jul 2025 09:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.65365
• Title: Fusing Large Language Models with Temporal Transformers for Time Series Forecasting
• Title（参考訳）: 時系列予測のための時間変換器を用いた大規模言語モデルの構築
• Authors: Chen Su, Yuanhe Tian, Qinyu Liu, Jun Zhang, Yan Song,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクを実行する上で強力な能力を示している。 LLMは離散トークンやセマンティックパターンの推論に長けている。 バニラトランスフォーマーは、しばしば高レベルのセマンティックパターンを学ぶのに苦労する。
• 参考スコア（独自算出の注目度）: 17.549938378193282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, large language models (LLMs) have demonstrated powerful capabilities in performing various tasks and thus are applied by recent studies to time series forecasting (TSF) tasks, which predict future values with the given historical time series. Existing LLM-based approaches transfer knowledge learned from text data to time series prediction using prompting or fine-tuning strategies. However, LLMs are proficient at reasoning over discrete tokens and semantic patterns but are not initially designed to model continuous numerical time series data. The gaps between text and time series data lead LLMs to achieve inferior performance to a vanilla Transformer model that is directly trained on TSF data. However, the vanilla Transformers often struggle to learn high-level semantic patterns. In this paper, we design a novel Transformer-based architecture that complementarily leverages LLMs and vanilla Transformers, so as to integrate the high-level semantic representations learned by LLMs into the temporal information encoded by time series Transformers, where a hybrid representation is obtained by fusing the representations from the LLM and the Transformer. The resulting fused representation contains both historical temporal dynamics and semantic variation patterns, allowing our model to predict more accurate future values. Experiments on benchmark datasets demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) は様々なタスクを遂行する上で強力な能力を発揮しており,時系列予測(TSF)タスクに応用されている。 既存のLLMベースのアプローチは、テキストデータから学んだ知識をプロンプトや微調整戦略を用いて時系列予測に転送する。 しかし、LLMは離散トークンやセマンティックパターンの推論に長けているが、当初は連続的な数値時系列データをモデル化するために設計されていない。 テキストと時系列データの間のギャップは、TLFデータで直接訓練されたバニラトランスフォーマーモデルに劣る性能を達成する。 しかしながら、バニラトランスフォーマーは高レベルのセマンティックパターンを学ぶのに苦労することが多い。 本稿では,LLMとバニラ変換を補完的に活用するトランスフォーマーアーキテクチャを設計し,LLMが学習した高レベルな意味表現を時系列トランスフォーマーで符号化した時間情報に統合する。 得られた融合表現には、歴史的時間的ダイナミクスと意味的変動パターンの両方が含まれており、我々のモデルはより正確な将来の値を予測することができる。 ベンチマークデータセットの実験では、提案手法の有効性が示されている。

関連論文リスト

• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• Time Series Language Model for Descriptive Caption Generation [11.796431549951055]
  本稿では,時系列キャプションに特化して設計された新しい時系列言語モデルTSLMを紹介する。 TSLMはエンコーダ・デコーダモデルとして機能し、テキストプロンプトと時系列データ表現の両方を活用する。 TSLMは、複数のデータモダリティから既存の最先端アプローチよりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-03T14:34:30Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。