論文の概要: Wavelet Mixture of Experts for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2508.08825v1
- Date: Tue, 12 Aug 2025 10:32:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-13 21:07:34.390155
- Title: Wavelet Mixture of Experts for Time Series Forecasting
- Title(参考訳): 時系列予測のためのエキスパートのウェーブレット混合
- Authors: Zheng Zhou, Yu-Jie Xiong, Jia-Chen Zhang, Chun-Ming Xia, Xi-Jiong Xie,
- Abstract要約: 本稿では,新しい時系列予測モデルWaveTS-Bを提案する。
このモデルはウェーブレット変換と、ウェーブレット領域におけるデータの周期的特性と非定常的特性の両方をキャプチャする機構を組み合わせる。
本モデルでは,パラメータが大幅に少ないSOTA(State-of-the-art)の性能を実現する。
- 参考スコア(独自算出の注目度): 7.478995447422547
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The field of time series forecasting is rapidly advancing, with recent large-scale Transformers and lightweight Multilayer Perceptron (MLP) models showing strong predictive performance. However, conventional Transformer models are often hindered by their large number of parameters and their limited ability to capture non-stationary features in data through smoothing. Similarly, MLP models struggle to manage multi-channel dependencies effectively. To address these limitations, we propose a novel, lightweight time series prediction model, WaveTS-B. This model combines wavelet transforms with MLP to capture both periodic and non-stationary characteristics of data in the wavelet domain. Building on this foundation, we propose a channel clustering strategy that incorporates a Mixture of Experts (MoE) framework, utilizing a gating mechanism and expert network to handle multi-channel dependencies efficiently. We propose WaveTS-M, an advanced model tailored for multi-channel time series prediction. Empirical evaluation across eight real-world time series datasets demonstrates that our WaveTS series models achieve state-of-the-art (SOTA) performance with significantly fewer parameters. Notably, WaveTS-M shows substantial improvements on multi-channel datasets, highlighting its effectiveness.
- Abstract(参考訳): 時系列予測の分野は急速に進歩しており、最近の大規模トランスフォーマーと軽量多層パーセプトロン(MLP)モデルは高い予測性能を示している。
しかし、従来のTransformerモデルは、多くのパラメータと、スムーズ化によってデータ内の非定常的特徴をキャプチャする限られた能力によって、しばしば妨げられている。
同様に、MLPモデルはマルチチャネル依存を効果的に管理するのに苦労する。
これらの制約に対処するために、新しい軽量時系列予測モデルWaveTS-Bを提案する。
このモデルは、ウェーブレット変換とMLPを組み合わせて、ウェーブレット領域におけるデータの周期的特性と非定常的特性の両方をキャプチャする。
本研究では,マルチチャネル依存性を効率的に処理するためのゲーティング機構とエキスパートネットワークを利用して,Mixture of Experts (MoE) フレームワークを組み込んだチャネルクラスタリング戦略を提案する。
マルチチャネル時系列予測に適した高度なモデルであるWaveTS-Mを提案する。
8つの実世界の時系列データセットに対する実証的な評価は、我々のWaveTSシリーズモデルが、かなり少ないパラメータで、最先端(SOTA)のパフォーマンスを達成することを示す。
特に、WaveTS-Mはマルチチャネルデータセットを大幅に改善し、その有効性を強調している。
関連論文リスト
- MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
時系列予測は、周波数の異なる周期特性から導かれる。
マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。
主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳(メタデータ) (2025-03-11T11:40:14Z) - WPMixer: Efficient Multi-Resolution Mixing for Long-Term Time Series Forecasting [20.29110166475336]
時系列予測のための新しい多分解能ウェーブレット分解モデルであるWavelet Patch Patch Mixer (WPMixer)を提案する。
本モデルでは,長期連続予測のための最先端モデルと変圧器モデルとを比較検討した。
論文 参考訳(メタデータ) (2024-12-22T22:08:16Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳(メタデータ) (2024-06-07T14:39:28Z) - Unlocking the Power of Patch: Patch-Based MLP for Long-Term Time Series Forecasting [0.0]
近年,Transformer アーキテクチャを改良し,長期連続予測タスクの有効性を実証する研究が進められている。
これらのモデルの有効性は, 適用されたパッチ機構に大きく寄与する。
LTSFタスクのための新しいシンプルなパッチベースコンポーネント(PatchMLP)を提案する。
論文 参考訳(メタデータ) (2024-05-22T12:12:20Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series [11.635608108358575]
本稿では,効率的な転送学習機能を備えたコンパクトモデルであるTiny Time Mixers (TTM)について紹介する。
TTMには、適応パッチ、多様な解像度サンプリング、およびさまざまなデータセット解像度の事前トレーニングを処理するための解像度プレフィックスチューニングなどのイノベーションが含まれている。
既存のベンチマークでは0/few-shot予測(4-40%)を上回り、計算要求を大幅に削減した。
論文 参考訳(メタデータ) (2024-01-08T15:21:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。