論文の概要: Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts
- arxiv url: http://arxiv.org/abs/2410.10469v1
- Date: Mon, 14 Oct 2024 13:01:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 21:24:58.642140
- Title: Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts
- Title（参考訳）: Moirai-MoE: 専門知識の少ない時系列モデル
- Authors: Xu Liu, Juncheng Liu, Gerald Woo, Taha Aksu, Yuxuan Liang, Roger Zimmermann, Chenghao Liu, Silvio Savarese, Caiming Xiong, Doyen Sahoo,
- Abstract要約: 本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。
39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
- 参考スコア（独自算出の注目度）: 103.725112190618
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series foundation models have demonstrated impressive performance as zero-shot forecasters. However, achieving effectively unified training on time series remains an open challenge. Existing approaches introduce some level of model specialization to account for the highly heterogeneous nature of time series data. For instance, Moirai pursues unified training by employing multiple input/output projection layers, each tailored to handle time series at a specific frequency. Similarly, TimesFM maintains a frequency embedding dictionary for this purpose. We identify two major drawbacks to this human-imposed frequency-level model specialization: (1) Frequency is not a reliable indicator of the underlying patterns in time series. For example, time series with different frequencies can display similar patterns, while those with the same frequency may exhibit varied patterns. (2) Non-stationarity is an inherent property of real-world time series, leading to varied distributions even within a short context window of a single time series. Frequency-level specialization is too coarse-grained to capture this level of diversity. To address these limitations, this paper introduces Moirai-MoE, using a single input/output projection layer while delegating the modeling of diverse time series patterns to the sparse mixture of experts (MoE) within Transformers. With these designs, Moirai-MoE reduces reliance on human-defined heuristics and enables automatic token-level specialization. Extensive experiments on 39 datasets demonstrate the superiority of Moirai-MoE over existing foundation models in both in-distribution and zero-shot scenarios. Furthermore, this study conducts comprehensive model analyses to explore the inner workings of time series MoE foundation models and provides valuable insights for future research.
- Abstract（参考訳）: 時系列基礎モデルは、ゼロショット予測器として素晴らしいパフォーマンスを示している。
しかしながら、時系列上で効果的に統一されたトレーニングを実現することは、未解決の課題である。
既存のアプローチでは、時系列データの非常にヘテロジニアスな性質を考慮するために、ある程度のモデルの特殊化を導入している。
例えば、Moiraiは複数の入出力プロジェクションレイヤを使用して、特定の周波数で時系列を処理するように調整された統合トレーニングを行っている。
同様に、TimesFMはこの目的のために周波数埋め込み辞書を維持している。
1)周波数は時系列における基本パターンの信頼性を示す指標ではない。
例えば、異なる周波数の時系列は同様のパターンを示すが、同じ周波数の時系列は異なるパターンを示すことがある。
2)非定常性は実世界の時系列の本質的な性質であり、単一の時系列の短いコンテキストウィンドウ内でも様々な分布をもたらす。
周波数レベルの特殊化は、このレベルの多様性を捉えるには大きすぎる。
これらの制約に対処するため,トランスフォーマー内のエキスパート(MoE)の疎混合に様々な時系列パターンのモデリングを委譲しながら,単一入出力プロジェクション層を用いたモイライ-MoEを提案する。
これらの設計により、Moirai-MoEは人間の定義したヒューリスティックスへの依存を減らし、トークンレベルの自動特殊化を可能にする。
39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
さらに,本研究では,時系列MOEファンデーションモデルの内部動作の総合的なモデル解析を行い,今後の研究に有用な知見を提供する。
関連論文リスト
- Generalized Prompt Tuning: Adapting Frozen Univariate Time Series Foundation Models for Multivariate Healthcare Time Series [3.9599054392856483]
時系列基礎モデルは、大規模なデータセットで事前訓練され、様々なタスクで最先端のパフォーマンスを達成することができる。
我々は、既存の単変量時系列基礎モデルに適応できる、素早いチューニングインスパイアされた微調整技術Gen-P-Tuningを提案する。
2つのMIMIC分類課題とインフルエンザ様疾患予測における各種ベースラインに対する微調整アプローチの有効性を実証した。
論文 参考訳（メタデータ） (2024-11-19T19:20:58Z) - DAM: Towards A Foundation Model for Time Series Forecasting [0.8231118867997028]
本稿では,ランダムにサンプリングされた履歴を抽出し,時間連続関数として調整可能な基底組成を出力するニューラルモデルを提案する。
1)長い尾の分布からランダムにサンプリングされたヒストリーを使用する柔軟なアプローチ、(2)これらの活発にサンプリングされたヒストリーに基づいてトレーニングされたトランスフォーマーバックボーンを表現的出力として、(3)時間の連続関数の基底係数を含む。
論文 参考訳（メタデータ） (2024-07-25T08:48:07Z) - Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
時系列データは、現実世界のシナリオにおいて非常に重要である。
近年、時系列コミュニティで顕著なブレークスルーが見られた。
多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
論文 参考訳（メタデータ） (2024-07-18T08:31:55Z) - MOMENT: A Family of Open Time-series Foundation Models [19.0845213853369]
汎用時系列解析のためのオープンソース基盤モデルのファミリであるMOMENTを紹介する。
我々は、タイムシリーズパイル(Time series Pile)と呼ばれる公開時系列のコレクションをコンパイルし、時系列固有の課題に体系的に取り組みます。
我々は、様々なタスクやデータセットに関する時系列基礎モデルを、限られた監督設定で評価するためのベンチマークを設計するための最近の作業に基づいて構築する。
論文 参考訳（メタデータ） (2024-02-06T10:48:46Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-04T20:00:45Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。
MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。
MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2021-02-23T05:23:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。