論文の概要: CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System
- arxiv url: http://arxiv.org/abs/2207.07827v4
- Date: Mon, 4 Mar 2024 05:48:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 04:31:56.779375
- Title: CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System
- Title（参考訳）: CLMFormer: トランスフォーマーに基づく長期時系列予測システムの再活性化のためのデータ冗長化
- Authors: Mingjie Li, Rui Liu, Guangsi Shi, Mingfei Han, Changling Li, Lina Yao,
Xiaojun Chang, and Ling Chen
- Abstract要約: 時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 46.39662315849883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-term time-series forecasting (LTSF) plays a crucial role in various
practical applications. Transformer and its variants have become the de facto
backbone for LTSF, offering exceptional capabilities in processing long
sequence data. However, existing Transformer-based models, such as Fedformer
and Informer, often achieve their best performances on validation sets after
just a few epochs, indicating potential underutilization of the Transformer's
capacity. One of the reasons that contribute to this overfitting is data
redundancy arising from the rolling forecasting settings in the data
augmentation process, particularly evident in longer sequences with highly
similar adjacent data. In this paper, we propose a novel approach to address
this issue by employing curriculum learning and introducing a memory-driven
decoder. Specifically, we progressively introduce Bernoulli noise to the
training samples, which effectively breaks the high similarity between adjacent
data points. To further enhance forecasting accuracy, we introduce a
memory-driven decoder. This component enables the model to capture seasonal
tendencies and dependencies in the time-series data and leverages temporal
relationships to facilitate the forecasting process. The experimental results
on six real-life LTSF benchmarks demonstrate that our approach can be
seamlessly plugged into varying Transformer-based models, with our approach
enhancing the LTSF performances of various Transformer-based models by
maximally 30%.
- Abstract（参考訳）: 時系列予測(LTSF)は様々な応用において重要な役割を果たす。
Transformerとその変種はLTSFの事実上のバックボーンとなり、長いシーケンスデータの処理に特有な機能を提供する。
しかし、Fedformer や Informer のような既存の Transformer ベースのモデルは、わずか数回で検証セット上で最高のパフォーマンスを達成し、Transformer のキャパシティを過小評価する可能性を示している。
この過剰適合に寄与する理由の1つは、データ拡張プロセスにおけるローリング予測設定から生じるデータ冗長性であり、特に非常に類似したデータを持つ長いシーケンスにおいて顕著である。
本稿では,カリキュラム学習とメモリ駆動型デコーダの導入により,この問題に対処する新しい手法を提案する。
具体的には,トレーニングサンプルにベルヌーイノイズを徐々に導入し,隣接するデータポイント間の類似度を効果的に破壊する。
予測精度をさらに高めるため,メモリ駆動デコーダを導入する。
このコンポーネントは、時系列データにおける季節傾向と依存関係をキャプチャし、時間的関係を利用して予測プロセスを促進する。
6つの実寿命ltsfベンチマークの実験結果から,本手法はトランスフォーマーモデルにシームレスに接続可能であり,本手法はトランスフォーマーモデルのltsf性能を最大30%向上させる。
関連論文リスト
- Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - Client: Cross-variable Linear Integrated Enhanced Transformer for
Multivariate Long-Term Time Series Forecasting [4.004869317957185]
クライアント(Client)は,従来のトランスフォーマーベースモデルと線形モデルの両方に勝る高度なモデルである。
クライアントは、従来の線形モデルとTransformerベースのモデルとを分離した、非線形性とクロス変数の依存関係を組み込んでいる。
論文 参考訳（メタデータ） (2023-05-30T08:31:22Z) - Stecformer: Spatio-temporal Encoding Cascaded Transformer for
Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。
抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。
予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文 参考訳（メタデータ） (2023-05-25T13:00:46Z) - CARD: Channel Aligned Robust Blend Transformer for Time Series
Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。
まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。
第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。
第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文 参考訳（メタデータ） (2023-05-20T05:16:31Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting [7.075125892721573]
我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。
各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2022-09-08T17:39:38Z) - ETSformer: Exponential Smoothing Transformers for Time-series
Forecasting [35.76867542099019]
時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。
特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
論文 参考訳（メタデータ） (2022-02-03T02:50:44Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。