論文の概要: Mixture-of-Linear-Experts for Long-term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2312.06786v2
- Date: Mon, 8 Jan 2024 04:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 21:56:55.032964
- Title: Mixture-of-Linear-Experts for Long-term Time Series Forecasting
- Title(参考訳): 長期時系列予測のための混合線形専門家
- Authors: Ronghao Ni, Zinan Lin, Shuaiqi Wang, Giulia Fanti
- Abstract要約: 線形中心モデルに対するMixture-of-Expertsスタイルの拡張を提案する。
単一のモデルをトレーニングする代わりに、MoLEは複数の線形中心モデルとルータモデルを訓練する。
- 参考スコア(独自算出の注目度): 15.095683857011684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term time series forecasting (LTSF) aims to predict future values of a
time series given the past values. The current state-of-the-art (SOTA) on this
problem is attained in some cases by linear-centric models, which primarily
feature a linear mapping layer. However, due to their inherent simplicity, they
are not able to adapt their prediction rules to periodic changes in time series
patterns. To address this challenge, we propose a Mixture-of-Experts-style
augmentation for linear-centric models and propose Mixture-of-Linear-Experts
(MoLE). Instead of training a single model, MoLE trains multiple linear-centric
models (i.e., experts) and a router model that weighs and mixes their outputs.
While the entire framework is trained end-to-end, each expert learns to
specialize in a specific temporal pattern, and the router model learns to
compose the experts adaptively. Experiments show that MoLE reduces forecasting
error of linear-centric models, including DLinear, RLinear, and RMLP, in over
78% of the datasets and settings we evaluated. By using MoLE existing
linear-centric models can achieve SOTA LTSF results in 68% of the experiments
that PatchTST reports and we compare to, whereas existing single-head
linear-centric models achieve SOTA results in only 25% of cases. Additionally,
MoLE models achieve SOTA in all settings for the newly released Weather2K
datasets.
- Abstract(参考訳): 長期時系列予測(LTSF)は、過去の値から時系列の将来値を予測することを目的としている。
この問題に対する現在の最先端(SOTA)は、主に線形写像層を特徴とする線形中心モデルによって達成されている。
しかし、本質的に単純であるため、予測ルールを時系列パターンの周期的変化に適応することはできない。
この課題に対処するために、線形中心モデルに対するMixture-of-Expertsスタイルの拡張を提案し、Mixture-of-Linear-Experts (MoLE)を提案する。
単一のモデルをトレーニングする代わりに、MoLEは複数の線形中心モデル(専門家など)とルータモデルを訓練し、出力を重み付け、混合する。
フレームワーク全体がエンドツーエンドでトレーニングされている間、各専門家は特定の時間パターンを専門的に学習し、ルータモデルは専門家を適応的に構成することを学ぶ。
実験の結果, DLinear, RLinear, RMLPを含む線形中心モデルの予測誤差を, 評価したデータセットと設定の78%以上で低減することがわかった。
既存の線形中心モデルを用いることで、PatchTSTが報告した実験の68%でSOTA LTSFを達成でき、一方、既存の単頭線形中心モデルではわずか25%のケースでSOTAを達成できる。
さらに、MoLEモデルは新たにリリースされたWeather2Kデータセットのすべての設定でSOTAを達成する。
関連論文リスト
- An Analysis of Linear Time Series Forecasting Models [0.0]
時系列予測のための線形モデルの一般的な変種は、標準の非制約線形回帰と等価であり、機能的に区別できない。
検査対象のモデルがほぼ同じ解を学習していることを示す実験的な証拠を提示し, 最終的に, より単純なクローズドフォームソリューションが, テスト設定の72%にまたがる優れた予測器であることを実証した。
論文 参考訳(メタデータ) (2024-03-21T17:42:45Z) - Cross-Task Linearity Emerges in the Pretraining-Finetuning Paradigm [51.01613218027083]
クロスタスク線形性(CTL)は、共通の事前訓練されたチェックポイントからモデルで観察され、異なるタスクで微調整される。
CTLは、同じ事前訓練されたチェックポイントから始まる微調整されたモデルに対して一貫して発生する。
プレトレーニング-ファインタニングのパラダイムでは、ニューラルネットワークは基本的に線形写像として機能し、パラメータ空間から特徴空間へマッピングする。
論文 参考訳(メタデータ) (2024-02-06T03:28:36Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Multi-timestep models for Model-based Reinforcement Learning [10.940666275830052]
モデルベース強化学習(MBRL)では、ほとんどのアルゴリズムはデータに基づいて学習した1ステップのダイナミックスモデルからの軌道のシミュレーションに依存している。
我々は、マルチステップの目標を用いてワンステップモデルをトレーニングすることでこの問題に対処する。
指数関数的に減衰する重みは、長い水平R2スコアを著しく改善するモデルに繋がることがわかった。
論文 参考訳(メタデータ) (2023-10-09T12:42:39Z) - Generative Modeling of Regular and Irregular Time Series Data via
Koopman VAEs [53.91784369229405]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
以上の結果から,KVAEは,合成および実世界の時系列生成ベンチマークにおいて,最先端のGAN法およびVAE法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - Grasping Core Rules of Time Series through Pure Models [6.849905754473385]
PureTSは3つの純粋な線形層を持つネットワークであり、長いシーケンス予測タスクの80%で最先端を達成した。
本稿では, 純粋な線形層の可能性について考察する。
論文 参考訳(メタデータ) (2022-08-15T10:22:15Z) - Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate
Time Series Forecasting [4.131842516813833]
時間系列の非線形ファクタリゼーションを可能にする新しい時間的潜時オートエンコーダ法を提案する。
確率的潜時空間モデルにより、入力系列の複雑な分布はデコーダを介してモデル化される。
我々のモデルは、多くの一般的な多変量データセット上で最先端のパフォーマンスを達成し、いくつかの標準メトリクスに対して最大50%のゲインを得られることがある。
論文 参考訳(メタデータ) (2021-01-25T22:29:40Z) - Global Models for Time Series Forecasting: A Simulation Study [2.580765958706854]
自動回帰(AR)や季節ARのような単純なデータ生成プロセス(DGP)からカオスロジスティックマップ、自己興奮型閾値自動回帰、マッキーグラス方程式といった複雑なDGPまで、時系列をシミュレートする。
データセットの長さと系列数は、さまざまなシナリオで変化します。
我々はこれらのデータセットに対して,Recurrent Neural Networks (RNN), Feed-Forward Neural Networks, Pooled Regression (PR) Model, Light Gradient Boosting Models (LGBM)などの大域的予測モデルを用いて実験を行った。
論文 参考訳(メタデータ) (2020-12-23T04:45:52Z) - Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。
本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。
実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
論文 参考訳(メタデータ) (2020-09-21T13:57:10Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。