論文の概要: Time Tracker: Mixture-of-Experts-Enhanced Foundation Time Series Forecasting Model with Decoupled Training Pipelines

• arxiv url: http://arxiv.org/abs/2505.15151v1
• Date: Wed, 21 May 2025 06:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.004112
• Title: Time Tracker: Mixture-of-Experts-Enhanced Foundation Time Series Forecasting Model with Decoupled Training Pipelines
• Title（参考訳）: タイムトラッカー:デカップリング・トレーニング・パイプラインを用いた試験用混合時間時系列予測モデル
• Authors: Xiaohou Shi, Ke Li, Aobo Liang, Yan Sun,
• Abstract要約: 時系列はしばしば、異なる時間帯と領域にまたがる時間パターンに顕著な多様性を示す。 Time Trackerは、精度、モデルの一般化、適応性を予測する際に最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 5.543238821368548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the past few years, time series foundation models have achieved superior predicting accuracy. However, real-world time series often exhibit significant diversity in their temporal patterns across different time spans and domains, making it challenging for a single model architecture to fit all complex scenarios. In addition, time series data may have multiple variables exhibiting complex correlations between each other. Recent mainstream works have focused on modeling times series in a channel-independent manner in both pretraining and finetuning stages, overlooking the valuable inter-series dependencies. To this end, we propose \textbf{Time Tracker} for better predictions on multivariate time series data. Firstly, we leverage sparse mixture of experts (MoE) within Transformers to handle the modeling of diverse time series patterns, thereby alleviating the learning difficulties of a single model while improving its generalization. Besides, we propose Any-variate Attention, enabling a unified model structure to seamlessly handle both univariate and multivariate time series, thereby supporting channel-independent modeling during pretraining and channel-mixed modeling for finetuning. Furthermore, we design a graph learning module that constructs relations among sequences from frequency-domain features, providing more precise guidance to capture inter-series dependencies in channel-mixed modeling. Based on these advancements, Time Tracker achieves state-of-the-art performance in predicting accuracy, model generalization and adaptability.
• Abstract（参考訳）: 過去数年間、時系列基礎モデルは予測精度に優れてきた。 しかしながら、実世界の時系列は、異なる時間領域とドメインにまたがる時間パターンに顕著な多様性を示すことが多く、単一のモデルアーキテクチャがすべての複雑なシナリオに適合することは困難である。 さらに、時系列データは、互いに複雑な相関を示す複数の変数を持つこともある。 最近の主流研究は、シリーズ間の価値ある依存関係を見越して、事前訓練と微調整の両方の段階で、チャネルに依存しない方法で時系列をモデル化することに焦点を当てている。 この目的のために,多変量時系列データの予測精度を向上させるために, {textbf{Time Tracker} を提案する。 まず,トランスフォーマー内のエキスパート(MoE)の疎混合を利用して,多様な時系列パターンのモデリング処理を行い,その一般化を改善しつつ,単一モデルの学習困難を緩和する。 さらに,一変量時系列と多変量時系列の両方をシームレスに扱える統一モデル構造を実現するAny-variate Attentionを提案する。 さらに、周波数領域の特徴からシーケンス間の関係を構成するグラフ学習モジュールを設計し、チャネル混合モデリングにおける系列間の依存関係をより正確に把握する。 これらの進歩に基づき、Time Trackerは精度、モデル一般化、適応性の予測において最先端のパフォーマンスを達成する。

関連論文リスト

• Generalized Prompt Tuning: Adapting Frozen Univariate Time Series Foundation Models for Multivariate Healthcare Time Series [3.9599054392856483]
  時系列基礎モデルは、大規模なデータセットで事前訓練され、様々なタスクで最先端のパフォーマンスを達成することができる。 我々は、既存の単変量時系列基礎モデルに適応できる、素早いチューニングインスパイアされた微調整技術Gen-P-Tuningを提案する。 2つのMIMIC分類課題とインフルエンザ様疾患予測における各種ベースラインに対する微調整アプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-19T19:20:58Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows [8.859284959951204]
  時系列予測は科学的・工学的な問題の基本である。 深層学習法はこの問題に適している。 多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
  論文  参考訳（メタデータ） (2020-02-14T16:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。