論文の概要: Fusing Large Language Models with Temporal Transformers for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2507.10098v1
• Date: Mon, 14 Jul 2025 09:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.65365
• Title: Fusing Large Language Models with Temporal Transformers for Time Series Forecasting
• Title（参考訳）: 時系列予測のための時間変換器を用いた大規模言語モデルの構築
• Authors: Chen Su, Yuanhe Tian, Qinyu Liu, Jun Zhang, Yan Song,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクを実行する上で強力な能力を示している。 LLMは離散トークンやセマンティックパターンの推論に長けている。 バニラトランスフォーマーは、しばしば高レベルのセマンティックパターンを学ぶのに苦労する。
• 参考スコア（独自算出の注目度）: 17.549938378193282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, large language models (LLMs) have demonstrated powerful capabilities in performing various tasks and thus are applied by recent studies to time series forecasting (TSF) tasks, which predict future values with the given historical time series. Existing LLM-based approaches transfer knowledge learned from text data to time series prediction using prompting or fine-tuning strategies. However, LLMs are proficient at reasoning over discrete tokens and semantic patterns but are not initially designed to model continuous numerical time series data. The gaps between text and time series data lead LLMs to achieve inferior performance to a vanilla Transformer model that is directly trained on TSF data. However, the vanilla Transformers often struggle to learn high-level semantic patterns. In this paper, we design a novel Transformer-based architecture that complementarily leverages LLMs and vanilla Transformers, so as to integrate the high-level semantic representations learned by LLMs into the temporal information encoded by time series Transformers, where a hybrid representation is obtained by fusing the representations from the LLM and the Transformer. The resulting fused representation contains both historical temporal dynamics and semantic variation patterns, allowing our model to predict more accurate future values. Experiments on benchmark datasets demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) は様々なタスクを遂行する上で強力な能力を発揮しており,時系列予測(TSF)タスクに応用されている。 既存のLLMベースのアプローチは、テキストデータから学んだ知識をプロンプトや微調整戦略を用いて時系列予測に転送する。 しかし、LLMは離散トークンやセマンティックパターンの推論に長けているが、当初は連続的な数値時系列データをモデル化するために設計されていない。 テキストと時系列データの間のギャップは、TLFデータで直接訓練されたバニラトランスフォーマーモデルに劣る性能を達成する。 しかしながら、バニラトランスフォーマーは高レベルのセマンティックパターンを学ぶのに苦労することが多い。 本稿では,LLMとバニラ変換を補完的に活用するトランスフォーマーアーキテクチャを設計し,LLMが学習した高レベルな意味表現を時系列トランスフォーマーで符号化した時間情報に統合する。 得られた融合表現には、歴史的時間的ダイナミクスと意味的変動パターンの両方が含まれており、我々のモデルはより正確な将来の値を予測することができる。 ベンチマークデータセットの実験では、提案手法の有効性が示されている。

関連論文リスト

• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• Using Pre-trained LLMs for Multivariate Time Series Forecasting [41.67881279885103]
  事前訓練された大規模言語モデル(LLM)は大量の知識をカプセル化し、大量の計算を訓練に要する。 我々は、LLMが知識と性能をあるドメインから、あるいは他の一見無関係な領域へ伝達できるという観察とともに、このリソースを活用している。
  論文  参考訳（メタデータ） (2025-01-10T23:30:23Z)
• Time Series Language Model for Descriptive Caption Generation [11.796431549951055]
  本稿では,時系列キャプションに特化して設計された新しい時系列言語モデルTSLMを紹介する。 TSLMはエンコーダ・デコーダモデルとして機能し、テキストプロンプトと時系列データ表現の両方を活用する。 TSLMは、複数のデータモダリティから既存の最先端アプローチよりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-03T14:34:30Z)
• Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
  時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
  論文  参考訳（メタデータ） (2024-10-04T11:37:55Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。