論文の概要: PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer

• arxiv url: http://arxiv.org/abs/2308.04791v2
• Date: Sat, 7 Oct 2023 09:24:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 05:02:49.133318
• Title: PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer
• Title（参考訳）: PETformer:Placeholder-enhanced Transformerによる長期連続予測
• Authors: Shengsheng Lin, Weiwei Lin, Wentai Wu, Songbo Wang, Yongxiang Wang
• Abstract要約: 本研究では,Transformerを長期連続予測タスクに適用する場合の問題点について検討する。 本研究では,Placeholder-enhanced Technique (PET)を導入し,LTSFタスクにおけるTransformerの計算効率と予測精度を向上させる。 PETformerはLTSFのために一般的に使用される8つのパブリックデータセットで最先端のパフォーマンスを達成し、既存のモデルをすべて上回っている。
• 参考スコア（独自算出の注目度）: 5.095882718779794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the superiority of Transformer for long-term time series forecasting (LTSF) tasks has been challenged, particularly since recent work has shown that simple models can outperform numerous Transformer-based approaches. This suggests that a notable gap remains in fully leveraging the potential of Transformer in LTSF tasks. Consequently, this study investigates key issues when applying Transformer to LTSF, encompassing aspects of temporal continuity, information density, and multi-channel relationships. We introduce the Placeholder-enhanced Technique (PET) to enhance the computational efficiency and predictive accuracy of Transformer in LTSF tasks. Furthermore, we delve into the impact of larger patch strategies and channel interaction strategies on Transformer's performance, specifically Long Sub-sequence Division (LSD) and Multi-channel Separation and Interaction (MSI). These strategies collectively constitute a novel model termed PETformer. Extensive experiments have demonstrated that PETformer achieves state-of-the-art performance on eight commonly used public datasets for LTSF, surpassing all existing models. The insights and enhancement methodologies presented in this paper serve as valuable reference points and sources of inspiration for future research endeavors.
• Abstract（参考訳）: 近年,長期連続予測(LTSF)タスクにおけるTransformerの優位性に疑問が呈されており,特に近年の研究では,単純なモデルが多くのTransformerベースのアプローチより優れていることが示されている。 これは、LTSFタスクにおけるTransformerの可能性を完全に活用する上で、注目すべきギャップが残っていることを示唆している。 その結果, Transformer を LTSF に適用する場合, 時間的連続性, 情報密度, マルチチャネル関係の側面を含む重要な課題について検討した。 本研究では,Placeholder-enhanced Technique (PET)を導入し,LTSFタスクにおけるTransformerの計算効率と予測精度を向上させる。 さらに,トランスフォーマーの性能,特にLong Sub-Sequence Division (LSD) とMulti- Channel Separation and Interaction (MSI) に対する,より大きなパッチ戦略とチャネルインタラクション戦略の影響について検討する。 これらの戦略はPETformerと呼ばれる新しいモデルを構成する。 広範な実験により、PETformerはLTSFの8つの一般的なパブリックデータセットで最先端のパフォーマンスを達成し、既存のモデルをすべて上回っていることが示されている。 本稿では,今後の研究成果の参考点とインスピレーションの源泉として,その洞察と強化手法について述べる。

関連論文リスト

• TEAFormers: TEnsor-Augmented Transformers for Multi-Dimensional Time Series Forecasting [14.43696537295348]
  多次元時系列データは、経済学、金融学、気候科学などの分野でますます普及している。 従来のTransformerモデルはシーケンシャルなデータに適応しているが、これらの多次元構造を効果的に保存していない。 本稿では,Transformer フレームワークにテンソル展開と圧縮を組み込んだ新しい手法である Vectors-Augmented Transformer (TEAFormer) を紹介する。
  論文  参考訳（メタデータ） (2024-10-27T13:32:12Z)
• PDMLP: Patch-based Decomposed MLP for Long-Term Time Series Forecasting [0.0]
  近年, Transformer アーキテクチャを改良し, 長期時系列予測(LTSF)タスクの有効性を実証する研究が進められている。 これらのモデルの有効性は、配列の局所性を向上する採用されたパッチ機構に大きく寄与する。 さらに、Patch機構で強化された単純な線形層は、複雑なTransformerベースのLTSFモデルより優れている可能性が示唆されている。
  論文  参考訳（メタデータ） (2024-05-22T12:12:20Z)
• A Systematic Review for Transformer-based Long-term Series Forecasting [7.414422194379818]
  トランスフォーマーアーキテクチャは、意味的相関を抽出する最も成功したソリューションであることが証明されている。 様々なバリエーションにより、トランスフォーマーアーキテクチャは長期的な時系列予測タスクを処理できるようになった。
  論文  参考訳（メタデータ） (2023-10-31T06:37:51Z)
• U-shaped Transformer: Retain High Frequency Context in Time Series Analysis [0.5710971447109949]
  本稿では,変圧器の低域特性を考察し,その利点を取り入れようと試みる。 パッチマージと分割操作を導入し、異なるスケールの機能を抽出し、より大きなデータセットを使用してトランスフォーマーバックボーンを完全に活用する。 実験により、比較的低コストで複数のデータセットをまたいだ高度なレベルでモデルが動作できることが実証された。
  論文  参考訳（メタデータ） (2023-07-18T07:15:26Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting [52.33042819442005]
  トランスフォーマーはMTSFのデファクトソリューションとなっている。 本研究では,MTSFトランスフォーマーアーキテクチャにおける現在のトークン化戦略がトランスフォーマーのトークン帰納バイアスを無視していることを指摘した。 バニラMTSF変圧器の基本構造について一連の進化を行った。 驚いたことに、進化した単純変圧器アーキテクチャは非常に効果的であり、バニラMTSF変圧器の過密現象を回避することに成功している。
  論文  参考訳（メタデータ） (2022-12-06T07:00:31Z)
• CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  時系列予測(LTSF)は,様々な応用において重要な役割を担っている。 既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。 本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)
• Augmented Shortcuts for Vision Transformers [49.70151144700589]
  視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。 本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。 ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-06-30T09:48:30Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。