論文の概要: PDMLP: Patch-based Decomposed MLP for Long-Term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2405.13575v2
- Date: Tue, 28 May 2024 02:14:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 11:28:48.662655
- Title: PDMLP: Patch-based Decomposed MLP for Long-Term Time Series Forecasting
- Title（参考訳）: PDMLP:Patch-based Decomposed MLP for Long-Term Time Series Forecasting
- Authors: Peiwang Tang, Weitai Zhang,
- Abstract要約: 近年, Transformer アーキテクチャを改良し, 長期時系列予測(LTSF)タスクの有効性を実証する研究が進められている。
これらのモデルの有効性は、配列の局所性を向上する採用されたパッチ機構に大きく寄与する。
さらに、Patch機構で強化された単純な線形層は、複雑なTransformerベースのLTSFモデルより優れている可能性が示唆されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have attempted to refine the Transformer architecture to demonstrate its effectiveness in Long-Term Time Series Forecasting (LTSF) tasks. Despite surpassing many linear forecasting models with ever-improving performance, we remain skeptical of Transformers as a solution for LTSF. We attribute the effectiveness of these models largely to the adopted Patch mechanism, which enhances sequence locality to an extent yet fails to fully address the loss of temporal information inherent to the permutation-invariant self-attention mechanism. Further investigation suggests that simple linear layers augmented with the Patch mechanism may outperform complex Transformer-based LTSF models. Moreover, diverging from models that use channel independence, our research underscores the importance of cross-variable interactions in enhancing the performance of multivariate time series forecasting. The interaction information between variables is highly valuable but has been misapplied in past studies, leading to suboptimal cross-variable models. Based on these insights, we propose a novel and simple Patch-based Decomposed MLP (PDMLP) for LTSF tasks. Specifically, we employ simple moving averages to extract smooth components and noise-containing residuals from time series data, engaging in semantic information interchange through channel mixing and specializing in random noise with channel independence processing. The PDMLP model consistently achieves state-of-the-art results on several real-world datasets. We hope this surprising finding will spur new research directions in the LTSF field and pave the way for more efficient and concise solutions.
- Abstract（参考訳）: 近年, Transformer アーキテクチャを改良し, 長期時系列予測(LTSF)タスクの有効性を実証する研究が進められている。
改良された性能を持つ線形予測モデルが数多く存在するが、LTSFの解法としてトランスフォーマーに懐疑的であり続けている。
これらのモデルの有効性は主に、配列の局所性をある程度向上するが、置換不変な自己認識機構に固有の時間情報の損失を完全に解決することができない、採用されたパッチ機構に起因している。
さらに、Patch機構で強化された単純な線形層は、複雑なTransformerベースのLTSFモデルより優れている可能性が示唆されている。
さらに,チャネル独立性を用いたモデルから分岐することで,多変量時系列予測の性能向上における相互変数間相互作用の重要性が浮き彫りになる。
変数間の相互作用情報は極めて貴重であるが、過去の研究では誤適用され、最適準変数モデルが導かれる。
これらの知見に基づいて、LTSF タスクのための新規でシンプルなパッチベース分解型 MLP (PDMLP) を提案する。
具体的には、単純な移動平均を用いて、時系列データから滑らかな成分やノイズを含む残留物を抽出し、チャネルミキシングを通じて意味情報交換を行い、チャネル独立処理によるランダムノイズを専門化する。
PDMLPモデルは、いくつかの実世界のデータセットにおける最先端の結果を一貫して達成する。
この驚くべき発見がLTSF分野の新たな研究方向を刺激し、より効率的で簡潔なソリューションの道を開くことを願っている。
関連論文リスト
- UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。
我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。
提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
論文 参考訳（メタデータ） (2024-06-06T05:27:33Z) - TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
時系列データは、その固有の長短の依存関係によって特徴づけられる。
本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。
我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2024-04-12T13:41:29Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳（メタデータ） (2023-10-02T16:45:19Z) - Client: Cross-variable Linear Integrated Enhanced Transformer for
Multivariate Long-Term Time Series Forecasting [4.004869317957185]
クライアント(Client)は,従来のトランスフォーマーベースモデルと線形モデルの両方に勝る高度なモデルである。
クライアントは、従来の線形モデルとTransformerベースのモデルとを分離した、非線形性とクロス変数の依存関係を組み込んでいる。
論文 参考訳（メタデータ） (2023-05-30T08:31:22Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-07-16T04:05:15Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。