論文の概要: Logo-LLM: Local and Global Modeling with Large Language Models for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2505.11017v1
• Date: Fri, 16 May 2025 09:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.461972
• Title: Logo-LLM: Local and Global Modeling with Large Language Models for Time Series Forecasting
• Title（参考訳）: Logo-LLM: 時系列予測のための大規模言語モデルを用いたローカルおよびグローバルモデリング
• Authors: Wenjie Ou, Zhishuo Zhao, Dongyue Guo, Yi Lin,
• Abstract要約: 時系列予測は複数のドメインで重要であり、時系列データはローカルパターンとグローバル依存関係の両方を示す。 大規模言語モデル(LLM)を時系列予測に適用する最近の手法は、LCMをブラックボックスエンコーダとして扱うことにより、この制限を継承する。 マルチスケールの時間的特徴を明示的に抽出し,モデル化する新しいLLMベースのフレームワークであるLogo-LLMを提案する。
• 参考スコア（独自算出の注目度）: 6.537801724497769
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time series forecasting is critical across multiple domains, where time series data exhibits both local patterns and global dependencies. While Transformer-based methods effectively capture global dependencies, they often overlook short-term local variations in time series. Recent methods that adapt large language models (LLMs) into time series forecasting inherit this limitation by treating LLMs as black-box encoders, relying solely on the final-layer output and underutilizing hierarchical representations. To address this limitation, we propose Logo-LLM, a novel LLM-based framework that explicitly extracts and models multi-scale temporal features from different layers of a pre-trained LLM. Through empirical analysis, we show that shallow layers of LLMs capture local dynamics in time series, while deeper layers encode global trends. Moreover, Logo-LLM introduces lightweight Local-Mixer and Global-Mixer modules to align and integrate features with the temporal input across layers. Extensive experiments demonstrate that Logo-LLM achieves superior performance across diverse benchmarks, with strong generalization in few-shot and zero-shot settings while maintaining low computational overhead.
• Abstract（参考訳）: 時系列予測は複数のドメインで重要であり、時系列データはローカルパターンとグローバル依存関係の両方を示す。 Transformerベースのメソッドは、グローバルな依存関係を効果的にキャプチャするが、時系列の短期的なローカルなバリエーションを見落としてしまうことが多い。 大規模言語モデル(LLM)を時系列予測に適応させる最近の手法は、LCMをブラックボックスエンコーダとして扱い、最終層出力のみに依存し、階層表現を未利用にすることで、この制限を継承している。 この制限に対処するために,Lgo-LLMを提案する。Lgo-LLMは,事前学習したLLMの異なるレイヤから,マルチスケールの時間的特徴を明示的に抽出し,モデル化する,新しいLLMベースのフレームワークである。 実験分析により,LLMの浅い層は時系列の局所的ダイナミクスを捉え,深い層はグローバルなトレンドをエンコードすることを示した。 さらに、Logo-LLMはライトウェイトなLocal-MixerモジュールとGlobal-Mixerモジュールを導入し、レイヤ間の時間的入力と機能を整合させ統合する。 大規模な実験により、Logo-LLMは、計算オーバーヘッドを低く保ちながら、少数ショットおよびゼロショット設定での強力な一般化により、様々なベンチマークで優れた性能を発揮することが示された。

関連論文リスト

• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting [0.08795040582681389]
  LLM-Mixerは、マルチスケールの時系列分解と事前学習したLCMを組み合わせることで予測精度を向上させるフレームワークである。 データを複数の時間分解能に分解することで、短期的変動と長期的傾向の両方をキャプチャする。
  論文  参考訳（メタデータ） (2024-10-15T15:08:57Z)
• Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
  大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。 近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。 本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-02-16T17:15:28Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。