論文の概要: Less Is More: Fast Multivariate Time Series Forecasting with Light
Sampling-oriented MLP Structures
- arxiv url: http://arxiv.org/abs/2207.01186v1
- Date: Mon, 4 Jul 2022 04:03:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 13:04:48.261058
- Title: Less Is More: Fast Multivariate Time Series Forecasting with Light
Sampling-oriented MLP Structures
- Title(参考訳): less is more: 光サンプリング指向mlp構造を用いた高速多変量時系列予測
- Authors: Tianping Zhang, Yizhuo Zhang, Wei Cao, Jiang Bian, Xiaohan Yi, Shun
Zheng, Jian Li
- Abstract要約: 単純な構造をベースとした軽量ディープラーニングアーキテクチャであるLightTSを紹介した。
既存の最先端のメソッドと比較すると、LightTSは5つのメソッドでより良いパフォーマンスを示し、残りの5つで同等のパフォーマンスを示している。
LightTSは堅牢であり、長いシーケンス予測タスクにおける従来のSOTA法よりも精度のばらつきがはるかに小さい。
- 参考スコア(独自算出の注目度): 18.592350352298553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multivariate time series forecasting has seen widely ranging applications in
various domains, including finance, traffic, energy, and healthcare. To capture
the sophisticated temporal patterns, plenty of research studies designed
complex neural network architectures based on many variants of RNNs, GNNs, and
Transformers. However, complex models are often computationally expensive and
thus face a severe challenge in training and inference efficiency when applied
to large-scale real-world datasets. In this paper, we introduce LightTS, a
light deep learning architecture merely based on simple MLP-based structures.
The key idea of LightTS is to apply an MLP-based structure on top of two
delicate down-sampling strategies, including interval sampling and continuous
sampling, inspired by a crucial fact that down-sampling time series often
preserves the majority of its information. We conduct extensive experiments on
eight widely used benchmark datasets. Compared with the existing
state-of-the-art methods, LightTS demonstrates better performance on five of
them and comparable performance on the rest. Moreover, LightTS is highly
efficient. It uses less than 5% FLOPS compared with previous SOTA methods on
the largest benchmark dataset. In addition, LightTS is robust and has a much
smaller variance in forecasting accuracy than previous SOTA methods in long
sequence forecasting tasks.
- Abstract(参考訳): 多変量時系列予測は、金融、交通、エネルギー、医療など、様々な分野で広く応用されている。
洗練された時間パターンを捉えるために、多くの研究が、RNN、GNN、トランスフォーマーの多くのバリエーションに基づいた複雑なニューラルネットワークアーキテクチャを設計した。
しかし、複雑なモデルはしばしば計算コストが高く、大規模な実世界のデータセットに適用した場合、トレーニングや推論効率の面で厳しい課題に直面している。
本稿では,単純なMLP構造に基づく光深層学習アーキテクチャであるLightTSを紹介する。
LightTSの鍵となる考え方は、インターバルサンプリングと連続サンプリングを含む2つの微妙なダウンサンプリング戦略の上にMLPベースの構造を適用することである。
8つのベンチマークデータセットについて広範な実験を行った。
既存の最先端のメソッドと比較すると、LightTSは5つでパフォーマンスが良く、残りの5つで同等のパフォーマンスを示している。
さらに、LightTSは非常に効率的です。
最大のベンチマークデータセットの以前のSOTAメソッドと比較すると、FLOPSは5%未満である。
加えて、LightTSは堅牢であり、長いシーケンス予測タスクにおける従来のSOTA法よりも予測精度のばらつきがはるかに小さい。
関連論文リスト
- Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced
Zero/Few-Shot Forecasting of Multivariate Time Series [11.61594284555052]
本稿では,軽量なTSMixerアーキテクチャに基づく,非常に小さなモデルであるTiny Time Mixers(TTM)を紹介する。
時間分解能の異なる複数のデータセットに対する事前学習の複雑さに対処するために,いくつかの新しい拡張を導入する。
TTMは、少数/ゼロショットの予測において、人気のあるベンチマークよりも大きな精度向上(12-38%)を示している。
論文 参考訳(メタデータ) (2024-01-08T15:21:21Z) - Spatiotemporal-Linear: Towards Universal Multivariate Time Series
Forecasting [10.404951989266191]
本稿ではSTL(Spatio-Temporal-Linear)フレームワークを紹介する。
STLは、Linearベースのアーキテクチャを拡張するために、時間組込みと空間インフォームドのバイパスをシームレスに統合する。
実証的な証拠は、さまざまな観測時間と予測期間とデータセットにわたって、LinearとTransformerのベンチマークを上回り、STLの成果を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-12-22T17:46:34Z) - Frequency-domain MLPs are More Effective Learners in Time Series
Forecasting [67.60443290781988]
時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。
最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。
本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
論文 参考訳(メタデータ) (2023-11-10T17:05:13Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-20T22:25:47Z) - Spatial-Temporal Identity: A Simple yet Effective Baseline for
Multivariate Time Series Forecasting [17.84296081495185]
我々は、STGNNほど強力だが、より簡潔で効率的なモデルを設計し、MTS予測の重要な要素について検討する。
本稿では,空間的,時間的両面におけるサンプルの不明瞭さを重要なボトルネックとみなし,MSS予測のための簡易かつ効果的なベースラインを提案する。
これらの結果から,STGNNに制限されることなく,サンプルの不明瞭さを解消できる限り,効率的かつ効率的なモデルを設計できることが示唆された。
論文 参考訳(メタデータ) (2022-08-10T09:25:43Z) - Enhancing Transformer Efficiency for Multivariate Time Series
Classification [12.128991867050487]
本稿では,モデル効率と精度,複雑さの関係を考察する手法を提案する。
ベンチマークMSSデータセットの総合実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2022-03-28T03:25:19Z) - An Experimental Review on Deep Learning Architectures for Time Series
Forecasting [0.0]
時系列予測のための最も広範な深層学習研究を提供する。
すべての研究モデルの中で、結果は、長期短期記憶(LSTM)と畳み込みネットワーク(CNN)が最良の代替手段であることを示しています。
CNNは、異なるパラメータ設定の下で結果の変動が少なく、比較性能を達成し、効率も向上します。
論文 参考訳(メタデータ) (2021-03-22T17:58:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。