論文の概要: AME-TS: Anchored Mixture-of-Experts for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2605.25166v1
- Date: Sun, 24 May 2026 16:52:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.931164
- Title: AME-TS: Anchored Mixture-of-Experts for Time Series Forecasting
- Title(参考訳): AME-TS: 時系列予測のためのアンコールミックス・オブ・エクササイズ
- Authors: Rui Wang, Renhao Xue, Ray Razi, Huan Song, Hannah R. Marlowe,
- Abstract要約: 本稿では、専門家のルーティングを解釈可能な時間構造に整合させる構造誘導スパース時系列基礎モデルを提案する。
AME-TSはモデルスケール間で高い精度と効率のトレードオフを提供する。
より解釈可能なルーティング幾何学と、標準的なMoEよりもかなり安定した専門家特殊化を学習する。
- 参考スコア(独自算出の注目度): 4.62087302563841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time series forecasting models are increasingly scaled through large Transformer backbones, yet most existing approaches process all series through a shared dense computation path despite substantial heterogeneity in temporal structure. Mixture-of-Experts (MoE) offers a natural alternative by enabling conditional computation, but standard MoE routing leaves expert specialization weakly identified and often unstable during downstream adaptation. We propose AME-TS, a structure-guided sparse time series foundation model that aligns expert routing with interpretable temporal structure. AME-TS first uses a lightweight regime predictor to estimate series-level descriptors, including forecastability, seasonality, trend, and sparsity, and maps them to a soft structural prior over experts. This series-level prior guides token-level routing during training, encouraging structure-aligned specialization. On the GIFT-Eval benchmark, AME-TS delivers a strong accuracy-efficiency tradeoff across model scales: it substantially outperforms existing time series foundation models at small model scales and remains competitive with the strongest models at larger scales, while activating substantially fewer parameters through sparse routing. We further show that AME-TS learns more interpretable routing geometry and substantially more stable expert specialization than standard MoE during fine-tuning on the M5 dataset. These results suggest that structure-aware routing is an effective and reliable way to realize the benefits of sparse expert models for time series forecasting.
- Abstract(参考訳): 時系列予測モデルは、大きなトランスフォーマーのバックボーンを通じて徐々にスケールされるが、既存のほとんどのアプローチは、時間構造にかなりの不均一性があるにもかかわらず、共有密度の計算経路を通じて全ての時系列を処理する。
Mixture-of-Experts (MoE)は、条件付き計算を可能にする自然な代替手段を提供するが、標準のMoEルーティングは、下流適応時に弱い識別と不安定さを専門とする。
本稿では、専門家のルーティングを解釈可能な時間構造に整合させる構造ガイド付きスパース時系列基盤モデルAME-TSを提案する。
AME-TSはまず、軽量なレシエーション予測器を使用して、予測可能性、季節性、傾向、空間性を推定し、専門家よりも先に柔らかい構造にマップする。
このシリーズレベルの事前ガイドは、トレーニング中のトークンレベルのルーティングをガイドし、構造整合の特殊化を促進する。
AME-TSは、GIFT-Evalベンチマークにおいて、モデルスケール間で強力な精度と効率のトレードオフを提供する。これは、既存の時系列基礎モデルを、小さなモデルスケールで大幅に上回り、より大きなスケールで最強のモデルと競合する一方で、スパースルーティングによってかなり少ないパラメータを活性化する。
さらに、M5データセットの微調整において、AME-TSは標準的なMoEよりも解釈可能なルーティング幾何と、かなり安定した専門家専門化を学習していることを示す。
これらの結果は,時系列予測におけるスパースエキスパートモデルの利点を実現するために,構造対応ルーティングが有効かつ信頼性の高い方法であることを示唆している。
関連論文リスト
- Three-Stage Learning Unlocks Strong Performance in Simple Models for Long-Term Time Series Forecasting [6.603558172147427]
STAIRは、複雑なアーキテクチャモジュールを導入することなく、単純な時間マッピングモデルのキャパシティを開放することを目的としている。
まず、共有時間マッピングを通じて変数間の共通時間ダイナミクスを学習し、その後、チャネルワイドな微調整により各変数に共有モデルを適用することで、変数固有のパターンをキャプチャし、最後に、残差学習を通じてクロス変数情報でバックボーンを補完する。
論文 参考訳(メタデータ) (2026-05-13T15:36:46Z) - Seeking SOTA: Time-Series Forecasting Must Adopt Taxonomy-Specific Evaluation to Dispel Illusory Gains [17.650604674194984]
我々は、AI/ML時系列予測モデルを評価する現在の実践は、効率的な古典的手法の性能を見極めることで、実際の進歩を曖昧にしていると論じる。
これらの「標準」データセットは、しばしばより単純な線形または統計モデルによって効果的に捉えられる、支配的な自己相関パターンと季節周期を示す。
論文 参考訳(メタデータ) (2026-03-16T16:34:26Z) - Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers [0.9058414988965365]
独立した専門家決定を行うのではなく、連続した時間ステップセグメントを処理するスパースなMoE設計であるSeg-MoEを紹介する。
Seg-MoEは、ほぼすべての予測地平線にわたって、最先端の予測精度を一貫して達成する。
この結果から,MoEルーティングの粒度と時系列の固有構造との整合性は,より強力で未探索な帰納バイアスをもたらすことが示された。
論文 参考訳(メタデータ) (2026-01-29T12:43:35Z) - Time Series Foundation Models for Process Model Forecasting [8.339024524110828]
プロセスモデル予測は、プロセスの制御フロー構造が時間とともにどのように進化するかを予測することを目的としています。
機械学習とディープラーニングモデルは、統計的ベースラインよりも控えめな利得しか提供しない。
PMF の代替として Time Series Foundation Models (TSFMs) について検討する。
論文 参考訳(メタデータ) (2025-12-08T15:08:50Z) - Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。
微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。
モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
論文 参考訳(メタデータ) (2025-09-28T07:07:13Z) - Test Time Learning for Time Series Forecasting [1.4605709124065924]
テストタイムトレーニング(TTT)モジュールは、MambaベースのTimeMachineなど、最先端モデルよりも一貫して優れている。
その結果,平均二乗誤差 (MSE) と平均絶対誤差 (MAE) に有意な改善が認められた。
この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。
論文 参考訳(メタデータ) (2024-09-21T04:40:08Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。