論文の概要: SEMPO: Lightweight Foundation Models for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2510.19710v1
• Date: Wed, 22 Oct 2025 15:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.125655
• Title: SEMPO: Lightweight Foundation Models for Time Series Forecasting
• Title（参考訳）: SEMPO: 時系列予測のための軽量ファンデーションモデル
• Authors: Hui He, Kun Yi, Yuanchi Ma, Qi Zhang, Zhendong Niu, Guansong Pang,
• Abstract要約: SEMPOは比較的小規模なデータに対する事前トレーニングを必要とする軽量な基礎モデルであるが、強い時系列予測を示す。 SEMPOは、1)エネルギーを意識したSpEctral分解モジュールと、事前学習データの利用を大幅に改善する2つの重要なモジュールから構成される。 16のデータセットをカバーする2つの大規模ベンチマークの実験は、ゼロショットと少数ショットの予測シナリオの両方でSEMPOの優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 45.456949943052116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent boom of large pre-trained models witnesses remarkable success in developing foundation models (FMs) for time series forecasting. Despite impressive performance across diverse downstream forecasting tasks, existing time series FMs possess massive network architectures and require substantial pre-training on large-scale datasets, which significantly hinders their deployment in resource-constrained environments. In response to this growing tension between versatility and affordability, we propose SEMPO, a novel lightweight foundation model that requires pretraining on relatively small-scale data, yet exhibits strong general time series forecasting. Concretely, SEMPO comprises two key modules: 1) energy-aware SpEctral decomposition module, that substantially improves the utilization of pre-training data by modeling not only the high-energy frequency signals but also the low-energy yet informative frequency signals that are ignored in current methods; and 2) Mixture-of-PrOmpts enabled Transformer, that learns heterogeneous temporal patterns through small dataset-specific prompts and adaptively routes time series tokens to prompt-based experts for parameter-efficient model adaptation across different datasets and domains. Equipped with these modules, SEMPO significantly reduces both pre-training data scale and model size, while achieving strong generalization. Extensive experiments on two large-scale benchmarks covering 16 datasets demonstrate the superior performance of SEMPO in both zero-shot and few-shot forecasting scenarios compared with state-of-the-art methods. Code and data are available at https://github.com/mala-lab/SEMPO.
• Abstract（参考訳）: 近年の大規模事前訓練モデルのブームは、時系列予測のための基礎モデル(FM)の開発において顕著な成功を収めている。 ダウンストリーム予測タスクの多種多様なパフォーマンスにもかかわらず、既存の時系列FMは巨大なネットワークアーキテクチャを持ち、大規模なデータセットでかなりの事前トレーニングを必要としており、リソース制約のある環境への展開を著しく妨げている。 汎用性と手頃な価格の緊張が高まる中で,我々は比較的小規模なデータに事前学習を必要とする新しい軽量基盤モデルSEMPOを提案する。 具体的には、SEMPOは2つの重要なモジュールから構成される。 1) 高エネルギー周波数信号だけでなく、現在の方法で無視されている低エネルギーかつ情報性の高い周波数信号をモデル化することにより、事前学習データの利用を大幅に改善する、エネルギーを意識したスペクトラル分解モジュール。 2)PrOmptの混在によりTransformerは,データセット固有の小さなプロンプトを通じて異種時間パターンを学習し,異なるデータセットやドメインにまたがるパラメータ効率のモデル適応のためのプロンプトベースのエキスパートに時系列トークンを適応的にルーティングする。 これらのモジュールを装備したSEMPOは、事前学習データスケールとモデルサイズの両方を著しく削減し、強力な一般化を実現している。 16のデータセットをカバーする2つの大規模ベンチマークに対する大規模な実験は、ゼロショットと少数ショットの予測シナリオにおいて、最先端の手法と比較してSEMPOの優れた性能を示す。 コードとデータはhttps://github.com/mala-lab/SEMPO.comで公開されている。

関連論文リスト

• A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
  時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。 本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。 火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
  論文  参考訳（メタデータ） (2025-10-11T09:59:25Z)
• MoFE-Time: Mixture of Frequency Domain Experts for Time-Series Forecasting Models [11.374098795890738]
  MoFE-Timeは、Mixture of Experts (MoE)ネットワーク内に時間と周波数ドメインの機能を統合する。 MoFE-Timeは最先端のパフォーマンスを新たに達成し、MSEとMAEはTime-MoEよりも6.95%、MAEは6.02%削減された。 本手法は, 実運用におけるMoFE-Timeモデルの有効性を実証し, 本データセットの優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-09T03:00:56Z)
• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
  予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。 主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。 その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-26T11:54:54Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series [11.635608108358575]
  本稿では,効率的な転送学習機能を備えたコンパクトモデルであるTiny Time Mixers (TTM)について紹介する。 TTMには、適応パッチ、多様な解像度サンプリング、およびさまざまなデータセット解像度の事前トレーニングを処理するための解像度プレフィックスチューニングなどのイノベーションが含まれている。 既存のベンチマークでは0/few-shot予測(4-40%)を上回り、計算要求を大幅に削減した。
  論文  参考訳（メタデータ） (2024-01-08T15:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。