論文の概要: Transformers in Time Series: A Survey

• arxiv url: http://arxiv.org/abs/2202.07125v5
• Date: Thu, 11 May 2023 21:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 16:40:59.245083
• Title: Transformers in Time Series: A Survey
• Title（参考訳）: 時系列のトランスフォーマー:サーベイ
• Authors: Qingsong Wen, Tian Zhou, Chaoli Zhang, Weiqi Chen, Ziqing Ma, Junchi Yan, Liang Sun
• Abstract要約: 時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。 ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
• 参考スコア（独自算出の注目度）: 66.50847574634726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have achieved superior performances in many tasks in natural language processing and computer vision, which also triggered great interest in the time series community. Among multiple advantages of Transformers, the ability to capture long-range dependencies and interactions is especially attractive for time series modeling, leading to exciting progress in various time series applications. In this paper, we systematically review Transformer schemes for time series modeling by highlighting their strengths as well as limitations. In particular, we examine the development of time series Transformers in two perspectives. From the perspective of network structure, we summarize the adaptations and modifications that have been made to Transformers in order to accommodate the challenges in time series analysis. From the perspective of applications, we categorize time series Transformers based on common tasks including forecasting, anomaly detection, and classification. Empirically, we perform robust analysis, model size analysis, and seasonal-trend decomposition analysis to study how Transformers perform in time series. Finally, we discuss and suggest future directions to provide useful research guidance. To the best of our knowledge, this paper is the first work to comprehensively and systematically summarize the recent advances of Transformers for modeling time series data. We hope this survey will ignite further research interests in time series Transformers.
• Abstract（参考訳）: トランスフォーマーは自然言語処理やコンピュータビジョンにおける多くのタスクにおいて優れたパフォーマンスを達成しており、時系列コミュニティにも大きな関心が寄せられている。 トランスフォーマの複数の利点のうち、長距離の依存関係と相互作用をキャプチャする能力は、時系列モデリングにおいて特に魅力的であり、様々な時系列アプリケーションでエキサイティングな進歩をもたらす。 本稿では,時系列モデリングのためのTransformerスキームを体系的にレビューし,その強みと限界を強調した。 特に,2つの観点から時系列変換器の開発について検討する。 ネットワーク構造の観点からは、時系列解析における課題に対応するためにトランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。 実験では,ロバスト解析,モデルサイズ解析,季節分解分析を行い,時系列におけるトランスフォーマーの動作について検討した。 最後に, 有用な研究指導を行うための今後の方向性について考察し, 提案する。 本論文は,時系列データをモデル化するための変圧器の最近の進歩を包括的かつ体系的に要約した最初の研究である。 この調査が、時系列トランスフォーマーのさらなる研究関心を喚起することを願っている。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• A Systematic Review for Transformer-based Long-term Series Forecasting [7.414422194379818]
  トランスフォーマーアーキテクチャは、意味的相関を抽出する最も成功したソリューションであることが証明されている。 様々なバリエーションにより、トランスフォーマーアーキテクチャは長期的な時系列予測タスクを処理できるようになった。
  論文  参考訳（メタデータ） (2023-10-31T06:37:51Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• U-shaped Transformer: Retain High Frequency Context in Time Series Analysis [0.5710971447109949]
  本稿では,変圧器の低域特性を考察し,その利点を取り入れようと試みる。 パッチマージと分割操作を導入し、異なるスケールの機能を抽出し、より大きなデータセットを使用してトランスフォーマーバックボーンを完全に活用する。 実験により、比較的低コストで複数のデータセットをまたいだ高度なレベルでモデルが動作できることが実証された。
  論文  参考訳（メタデータ） (2023-07-18T07:15:26Z)
• A Survey on Transformers in Reinforcement Learning [66.23773284875843]
  Transformer は NLP と CV において支配的なニューラルネットワークアーキテクチャと見なされている。 近年、強化学習(RL)分野においてトランスフォーマーの使用が急増しているが、RLの性質によってもたらされるユニークな設計選択と課題に直面している。 本稿では,RLにおけるトランスフォーマーの利用の動機と進歩を体系的にレビューし,既存の作業の分類を提供し,各サブフィールドについて議論し,今後の展望を要約する。
  論文  参考訳（メタデータ） (2023-01-08T14:04:26Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)
• Transformers in Time-series Analysis: A Tutorial [0.0]
  トランスフォーマーアーキテクチャは、特に自然言語処理やコンピュータビジョンにおいて広く応用されている。 本チュートリアルでは、Transformerアーキテクチャ、その応用の概要と、時系列解析における最近の研究論文の例を紹介する。
  論文  参考訳（メタデータ） (2022-04-28T05:17:45Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。