論文の概要: PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer

• arxiv url: http://arxiv.org/abs/2308.04791v1
• Date: Wed, 9 Aug 2023 08:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 14:33:00.751313
• Title: PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer
• Title（参考訳）: PETformer:Placeholder-enhanced Transformerによる長期連続予測
• Authors: Shengsheng Lin, Weiwei Lin, Wentai Wu, Songbo Wang, Yongxiang Wang,
• Abstract要約: 近年,Transformerベースのモデルでは,長期連続予測(LTSF)タスクにおいて顕著な性能を示している。 本稿では, Transformer を LTSF に適用する場合, 時間的連続性, 情報密度, マルチチャネル関係の3つの問題について検討する。 本稿では,Placeholder Enhancement Technique(PET),Long Sub-Sequence Division(LSD),Multi-channel separation and Interaction(MSI)の3つの革新的なソリューションを提案する。
• 参考スコア（独自算出の注目度）: 7.542276054279342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Transformer-based models have shown remarkable performance in long-term time series forecasting (LTSF) tasks due to their ability to model long-term dependencies. However, the validity of Transformers for LTSF tasks remains debatable, particularly since recent work has shown that simple linear models can outperform numerous Transformer-based approaches. This suggests that there are limitations to the application of Transformer in LTSF. Therefore, this paper investigates three key issues when applying Transformer to LTSF: temporal continuity, information density, and multi-channel relationships. Accordingly, we propose three innovative solutions, including Placeholder Enhancement Technique (PET), Long Sub-sequence Division (LSD), and Multi-channel Separation and Interaction (MSI), which together form a novel model called PETformer. These three key designs introduce prior biases suitable for LTSF tasks. Extensive experiments have demonstrated that PETformer achieves state-of-the-art (SOTA) performance on eight commonly used public datasets for LTSF, outperforming all other models currently available. This demonstrates that Transformer still possesses powerful capabilities in LTSF.
• Abstract（参考訳）: 近年,Transformerベースのモデルでは,長期的依存関係をモデル化できるため,長期的時系列予測(LTSF)タスクにおいて顕著な性能を示した。 しかし、特に最近の研究で、単純な線形モデルはトランスフォーマーベースのアプローチよりも優れていることが示されているため、LTSFタスクに対するトランスフォーマーの有効性は議論の余地がある。 これは、LTSFにおけるTransformerの適用に制限があることを示唆している。 そこで本研究では,ltsfにトランスフォーマーを適用する際の3つの課題,時間的連続性,情報密度,マルチチャネル関係について検討する。 そこで我々は,Placeholder Enhancement Technique(PET),Long Sub-Sequence Division(LSD),Multi-channel Separation and Interaction(MSI)の3つの革新的な手法を提案する。 これら3つの重要な設計はLTSFタスクに適した事前バイアスを導入している。 広範な実験により、PETformerはLTSFのために一般的に使用される8つのパブリックデータセット上で、最先端(SOTA)のパフォーマンスを達成し、現在利用可能な他のモデルよりも優れていることが示されている。 このことはTransformerがLTSFに強力な機能を持っていることを示している。

関連論文リスト

• TEAFormers: TEnsor-Augmented Transformers for Multi-Dimensional Time Series Forecasting [14.43696537295348]
  多次元時系列データは、経済学、金融学、気候科学などの分野でますます普及している。 従来のTransformerモデルはシーケンシャルなデータに適応しているが、これらの多次元構造を効果的に保存していない。 本稿では,Transformer フレームワークにテンソル展開と圧縮を組み込んだ新しい手法である Vectors-Augmented Transformer (TEAFormer) を紹介する。
  論文  参考訳（メタデータ） (2024-10-27T13:32:12Z)
• PDMLP: Patch-based Decomposed MLP for Long-Term Time Series Forecasting [0.0]
  近年, Transformer アーキテクチャを改良し, 長期時系列予測(LTSF)タスクの有効性を実証する研究が進められている。 これらのモデルの有効性は、配列の局所性を向上する採用されたパッチ機構に大きく寄与する。 さらに、Patch機構で強化された単純な線形層は、複雑なTransformerベースのLTSFモデルより優れている可能性が示唆されている。
  論文  参考訳（メタデータ） (2024-05-22T12:12:20Z)
• A Systematic Review for Transformer-based Long-term Series Forecasting [7.414422194379818]
  トランスフォーマーアーキテクチャは、意味的相関を抽出する最も成功したソリューションであることが証明されている。 様々なバリエーションにより、トランスフォーマーアーキテクチャは長期的な時系列予測タスクを処理できるようになった。
  論文  参考訳（メタデータ） (2023-10-31T06:37:51Z)
• U-shaped Transformer: Retain High Frequency Context in Time Series Analysis [0.5710971447109949]
  本稿では,変圧器の低域特性を考察し,その利点を取り入れようと試みる。 パッチマージと分割操作を導入し、異なるスケールの機能を抽出し、より大きなデータセットを使用してトランスフォーマーバックボーンを完全に活用する。 実験により、比較的低コストで複数のデータセットをまたいだ高度なレベルでモデルが動作できることが実証された。
  論文  参考訳（メタデータ） (2023-07-18T07:15:26Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting [52.33042819442005]
  トランスフォーマーはMTSFのデファクトソリューションとなっている。 本研究では,MTSFトランスフォーマーアーキテクチャにおける現在のトークン化戦略がトランスフォーマーのトークン帰納バイアスを無視していることを指摘した。 バニラMTSF変圧器の基本構造について一連の進化を行った。 驚いたことに、進化した単純変圧器アーキテクチャは非常に効果的であり、バニラMTSF変圧器の過密現象を回避することに成功している。
  論文  参考訳（メタデータ） (2022-12-06T07:00:31Z)
• CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  時系列予測(LTSF)は,様々な応用において重要な役割を担っている。 既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。 本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)
• Augmented Shortcuts for Vision Transformers [49.70151144700589]
  視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。 本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。 ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-06-30T09:48:30Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。