論文の概要: Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
- arxiv url: http://arxiv.org/abs/2601.21641v1
- Date: Thu, 29 Jan 2026 12:43:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.817395
- Title: Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
- Title（参考訳）: Seg-MoE: 時系列予測変換器用マルチリゾリューション・セグメンテーション・オブ・エクストラクト
- Authors: Evandro S. Ortigossa, Eran Segal,
- Abstract要約: 独立した専門家決定を行うのではなく、連続した時間ステップセグメントを処理するスパースなMoE設計であるSeg-MoEを紹介する。
Seg-MoEは、ほぼすべての予測地平線にわたって、最先端の予測精度を一貫して達成する。
この結果から,MoEルーティングの粒度と時系列の固有構造との整合性は,より強力で未探索な帰納バイアスをもたらすことが示された。
- 参考スコア（独自算出の注目度）: 0.9058414988965365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based models have recently made significant advances in accurate time-series forecasting, but even these architectures struggle to scale efficiently while capturing long-term temporal dynamics. Mixture-of-Experts (MoE) layers are a proven solution to scaling problems in natural language processing. However, existing MoE approaches for time-series forecasting rely on token-wise routing mechanisms, which may fail to exploit the natural locality and continuity of temporal data. In this work, we introduce Seg-MoE, a sparse MoE design that routes and processes contiguous time-step segments rather than making independent expert decisions. Token segments allow each expert to model intra-segment interactions directly, naturally aligning with inherent temporal patterns. We integrate Seg-MoE layers into a time-series Transformer and evaluate it on multiple multivariate long-term forecasting benchmarks. Seg-MoE consistently achieves state-of-the-art forecasting accuracy across almost all prediction horizons, outperforming both dense Transformers and prior token-wise MoE models. Comprehensive ablation studies confirm that segment-level routing is the key factor driving these gains. Our results show that aligning the MoE routing granularity with the inherent structure of time series provides a powerful, yet previously underexplored, inductive bias, opening new avenues for conditionally sparse architectures in sequential data modeling.
- Abstract（参考訳）: トランスフォーマーベースのモデルは最近、正確な時系列予測において大きな進歩を遂げているが、これらのアーキテクチャでさえ、長期の時間的ダイナミクスを捉えながら、効率的にスケールするのに苦労している。
Mixture-of-Experts (MoE) レイヤは、自然言語処理における問題をスケールするための実証済みのソリューションである。
しかし、既存の時系列予測のためのMoEアプローチはトークンワイドルーティング機構に依存しており、時間データの自然な局所性と連続性を利用できない可能性がある。
本研究では,独立した専門家決定を行うのではなく,連続した時間ステップセグメントをルーティングし,処理するスパースなMoE設計であるSeg-MoEを紹介する。
トークンセグメントは、各専門家が固有の時間パターンと自然に整合して、セグメント内相互作用を直接モデル化することを可能にする。
我々は,Seeg-MoE層を時系列変換器に統合し,複数変数の長期予測ベンチマークで評価する。
Seg-MoEは、ほぼすべての予測地平線をまたいだ最先端の予測精度を一貫して達成し、密度の高いトランスフォーマーと、それ以前のトークンワイドのMoEモデルの両方を上回っている。
包括的アブレーション研究は、セグメントレベルのルーティングがこれらの利得を駆動する重要な要因であることを確認した。
この結果から,MoEルーティングの粒度と時系列の固有構造との整合性は,従来未探索のインダクティブバイアスをもたらし,逐次データモデリングにおける条件付きスパースアーキテクチャの新たな道を開くことが示唆された。
関連論文リスト
- ForecastGAN: A Decomposition-Based Adversarial Framework for Multi-Horizon Time Series Forecasting [0.5213778368155993]
時系列予測は、ファイナンスからサプライチェーン管理までの領域で必須である。
本稿では,マルチホライズン予測のための新しい解析手法であるForecastGANを紹介する。
ForecastGANは、短期予測のための最先端のトランスフォーマーモデルより一貫して優れており、長期水平線では競争力を維持している。
論文 参考訳（メタデータ） (2025-11-06T15:19:23Z) - ARMA Block: A CNN-Based Autoregressive and Moving Average Module for Long-Term Time Series Forecasting [3.0641475192265495]
提案ブロックはARIMA(Auto-Regressive Integrated Average)モデルにインスパイアされている。
繰り返し多段階予測を必要とする従来のARIMAとは異なり、ブロックは直接多段階予測を行う。
このブロックは本質的に絶対位置情報を符号化しており、シーケンシャルモデルにおける位置埋め込みの軽量な代替としての可能性を示している。
論文 参考訳（メタデータ） (2025-09-12T15:03:49Z) - UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。
U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。
UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文 参考訳（メタデータ） (2024-10-15T04:56:43Z) - Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。
39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
論文 参考訳（メタデータ） (2024-10-14T13:01:11Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - Test Time Learning for Time Series Forecasting [1.4605709124065924]
テストタイムトレーニング(TTT)モジュールは、MambaベースのTimeMachineなど、最先端モデルよりも一貫して優れている。
その結果,平均二乗誤差 (MSE) と平均絶対誤差 (MAE) に有意な改善が認められた。
この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。
論文 参考訳（メタデータ） (2024-09-21T04:40:08Z) - sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。
我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。
我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
論文 参考訳（メタデータ） (2024-08-19T06:23:41Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳（メタデータ） (2024-01-22T13:15:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。