論文の概要: A Systematic Review for Transformer-based Long-term Series Forecasting

• arxiv url: http://arxiv.org/abs/2310.20218v1
• Date: Tue, 31 Oct 2023 06:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 16:07:54.716929
• Title: A Systematic Review for Transformer-based Long-term Series Forecasting
• Title（参考訳）: 変圧器を用いた長期連続予測システムの検討
• Authors: Liyilei Su, Xumin Zuo, Rui Li, Xin Wang, Heng Zhao and Bingding Huang
• Abstract要約: トランスフォーマーアーキテクチャは、意味的相関を抽出する最も成功したソリューションであることが証明されている。 様々なバリエーションにより、トランスフォーマーアーキテクチャは長期的な時系列予測タスクを処理できるようになった。
• 参考スコア（独自算出の注目度）: 7.414422194379818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of deep learning has yielded noteworthy advancements in time series forecasting (TSF). Transformer architectures, in particular, have witnessed broad utilization and adoption in TSF tasks. Transformers have proven to be the most successful solution to extract the semantic correlations among the elements within a long sequence. Various variants have enabled transformer architecture to effectively handle long-term time series forecasting (LTSF) tasks. In this article, we first present a comprehensive overview of transformer architectures and their subsequent enhancements developed to address various LTSF tasks. Then, we summarize the publicly available LTSF datasets and relevant evaluation metrics. Furthermore, we provide valuable insights into the best practices and techniques for effectively training transformers in the context of time-series analysis. Lastly, we propose potential research directions in this rapidly evolving field.
• Abstract（参考訳）: ディープラーニングの出現は、時系列予測(TSF)において注目すべき進歩をもたらした。 特にトランスフォーマーアーキテクチャは、tsfタスクで広く利用され、採用されている。 変換器は長い配列内の要素間の意味的相関を抽出する最も成功した解であることが証明されている。 様々なバリエーションにより、トランスフォーマーアーキテクチャは長期時系列予測(LTSF)タスクを効果的に扱えるようになった。 本稿では,まずトランスフォーマーアーキテクチャの概要を概説し,その拡張によって様々なLTSFタスクに対処する。 次に、公開されているLTSFデータセットと関連する評価指標を要約する。 さらに,時系列分析の文脈でトランスフォーマーを効果的にトレーニングするためのベストプラクティスとテクニックについて,貴重な知見を提供する。 最後に,この急速に発展する分野における潜在的研究の方向性を提案する。

関連論文リスト

• Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting [4.645182684813973]
  本研究では,変数間の概念的関係をよく定義された知識グラフ内にカプセル化する新しい手法を提案する。 PatchTST, Autoformer, Informer, Vanilla Transformer などのセマンティックアーキテクチャへの統合の影響について検討する。 この拡張により、変数間の固有の構造的関係に対処するトランスフォーマーベースのアーキテクチャが強化される。
  論文  参考訳（メタデータ） (2024-11-17T11:53:54Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer [5.095882718779794]
  本研究では,Transformerを長期連続予測タスクに適用する場合の問題点について検討する。 本研究では,Placeholder-enhanced Technique (PET)を導入し,LTSFタスクにおけるTransformerの計算効率と予測精度を向上させる。 PETformerはLTSFのために一般的に使用される8つのパブリックデータセットで最先端のパフォーマンスを達成し、既存のモデルをすべて上回っている。
  論文  参考訳（メタデータ） (2023-08-09T08:30:22Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting [52.33042819442005]
  トランスフォーマーはMTSFのデファクトソリューションとなっている。 本研究では,MTSFトランスフォーマーアーキテクチャにおける現在のトークン化戦略がトランスフォーマーのトークン帰納バイアスを無視していることを指摘した。 バニラMTSF変圧器の基本構造について一連の進化を行った。 驚いたことに、進化した単純変圧器アーキテクチャは非常に効果的であり、バニラMTSF変圧器の過密現象を回避することに成功している。
  論文  参考訳（メタデータ） (2022-12-06T07:00:31Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)
• CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  時系列予測(LTSF)は,様々な応用において重要な役割を担っている。 既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。 本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)
• Transformers in Time Series: A Survey [66.50847574634726]
  時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。 ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
  論文  参考訳（メタデータ） (2022-02-15T01:43:27Z)
• ETSformer: Exponential Smoothing Transformers for Time-series Forecasting [35.76867542099019]
  時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。 特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
  論文  参考訳（メタデータ） (2022-02-03T02:50:44Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。