論文の概要: Mixture-of-Linear-Experts for Long-term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2312.06786v3
- Date: Wed, 1 May 2024 22:23:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 22:00:43.145752
- Title: Mixture-of-Linear-Experts for Long-term Time Series Forecasting
- Title（参考訳）: 長期連続予測のためのMixture-of-Linear-Experts
- Authors: Ronghao Ni, Zinan Lin, Shuaiqi Wang, Giulia Fanti,
- Abstract要約: 線形中心モデルに対するMixture-of-Expertsスタイルの拡張を提案する。
単一のモデルをトレーニングする代わりに、MoLEは複数の線形中心モデルとルータモデルを訓練する。
- 参考スコア（独自算出の注目度）: 13.818468255379969
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term time series forecasting (LTSF) aims to predict future values of a time series given the past values. The current state-of-the-art (SOTA) on this problem is attained in some cases by linear-centric models, which primarily feature a linear mapping layer. However, due to their inherent simplicity, they are not able to adapt their prediction rules to periodic changes in time series patterns. To address this challenge, we propose a Mixture-of-Experts-style augmentation for linear-centric models and propose Mixture-of-Linear-Experts (MoLE). Instead of training a single model, MoLE trains multiple linear-centric models (i.e., experts) and a router model that weighs and mixes their outputs. While the entire framework is trained end-to-end, each expert learns to specialize in a specific temporal pattern, and the router model learns to compose the experts adaptively. Experiments show that MoLE reduces forecasting error of linear-centric models, including DLinear, RLinear, and RMLP, in over 78% of the datasets and settings we evaluated. By using MoLE existing linear-centric models can achieve SOTA LTSF results in 68% of the experiments that PatchTST reports and we compare to, whereas existing single-head linear-centric models achieve SOTA results in only 25% of cases.
- Abstract（参考訳）: 長期時系列予測(LTSF)は、過去の値から時系列の将来値を予測することを目的としている。
この問題に対する現在の最先端(SOTA)は、主に線形写像層を特徴とする線形中心モデルによって達成されている。
しかし、本質的に単純であるため、時系列パターンの周期的変化に予測規則を適用することはできない。
この課題に対処するために、線形中心モデルに対するMixture-of-Expertsスタイルの拡張を提案し、Mixture-of-Linear-Experts (MoLE)を提案する。
単一のモデルをトレーニングする代わりに、MoLEは複数の線形中心モデル(専門家など)とルータモデルを訓練し、出力を重み付け、混合する。
フレームワーク全体がエンドツーエンドでトレーニングされている間、各専門家は特定の時間パターンを専門化することを学び、ルータモデルは専門家を適応的に構成することを学ぶ。
実験の結果, DLinear, RLinear, RMLPを含む線形中心モデルの予測誤差を, 評価したデータセットと設定の78%以上で低減することがわかった。
既存の線形中心モデルを用いることで、PatchTSTが報告した実験の68%でSOTA LTSFを達成でき、一方、既存の単頭線形中心モデルではわずか25%のケースでSOTAを達成できる。
関連論文リスト
- Predictive Modeling in the Reservoir Kernel Motif Space [0.9217021281095907]
本研究では,線形貯水池のカーネルビューに基づく時系列予測手法を提案する。
我々は、我々のアプローチがコア貯水池モデルとどのように関係しているかについての光を遮蔽するアプローチの幾何学的解釈を提供する。
実験では,提案モデルの予測性能と最近の最先端変圧器モデルとの比較を行った。
論文 参考訳（メタデータ） (2024-05-11T16:12:25Z) - An Analysis of Linear Time Series Forecasting Models [0.0]
時系列予測のための線形モデルの一般的な変種は、標準の非制約線形回帰と等価であり、機能的に区別できない。
検査対象のモデルがほぼ同じ解を学習していることを示す実験的な証拠を提示し, 最終的に, より単純なクローズドフォームソリューションが, テスト設定の72%にまたがる優れた予測器であることを実証した。
論文 参考訳（メタデータ） (2024-03-21T17:42:45Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - Multi-timestep models for Model-based Reinforcement Learning [10.940666275830052]
モデルベース強化学習(MBRL)では、ほとんどのアルゴリズムはデータに基づいて学習した1ステップのダイナミックスモデルからの軌道のシミュレーションに依存している。
我々は、マルチステップの目標を用いてワンステップモデルをトレーニングすることでこの問題に対処する。
指数関数的に減衰する重みは、長い水平R2スコアを著しく改善するモデルに繋がることがわかった。
論文 参考訳（メタデータ） (2023-10-09T12:42:39Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-20T22:25:47Z) - Grasping Core Rules of Time Series through Pure Models [6.849905754473385]
PureTSは3つの純粋な線形層を持つネットワークであり、長いシーケンス予測タスクの80%で最先端を達成した。
本稿では, 純粋な線形層の可能性について考察する。
論文 参考訳（メタデータ） (2022-08-15T10:22:15Z) - Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。
提案手法の有効性を検証し,数値実験による理論的研究を検証する。
論文 参考訳（メタデータ） (2022-01-26T22:26:01Z) - Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。
次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文 参考訳（メタデータ） (2021-06-04T18:03:31Z) - Global Models for Time Series Forecasting: A Simulation Study [2.580765958706854]
自動回帰(AR)や季節ARのような単純なデータ生成プロセス(DGP)からカオスロジスティックマップ、自己興奮型閾値自動回帰、マッキーグラス方程式といった複雑なDGPまで、時系列をシミュレートする。
データセットの長さと系列数は、さまざまなシナリオで変化します。
我々はこれらのデータセットに対して,Recurrent Neural Networks (RNN), Feed-Forward Neural Networks, Pooled Regression (PR) Model, Light Gradient Boosting Models (LGBM)などの大域的予測モデルを用いて実験を行った。
論文 参考訳（メタデータ） (2020-12-23T04:45:52Z) - Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。
本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。
実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
論文 参考訳（メタデータ） (2020-09-21T13:57:10Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。