論文の概要: iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2310.06625v4
- Date: Thu, 14 Mar 2024 11:45:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 02:32:48.622130
- Title: iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
- Title(参考訳): iTransformer:逆変換器は時系列予測に有効
- Authors: Yong Liu, Tengge Hu, Haoran Zhang, Haixu Wu, Shiyu Wang, Lintao Ma, Mingsheng Long,
- Abstract要約: iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
- 参考スコア(独自算出の注目度): 62.40166958002558
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The recent boom of linear forecasting models questions the ongoing passion for architectural modifications of Transformer-based forecasters. These forecasters leverage Transformers to model the global dependencies over temporal tokens of time series, with each token formed by multiple variates of the same timestamp. However, Transformers are challenged in forecasting series with larger lookback windows due to performance degradation and computation explosion. Besides, the embedding for each temporal token fuses multiple variates that represent potential delayed events and distinct physical measurements, which may fail in learning variate-centric representations and result in meaningless attention maps. In this work, we reflect on the competent duties of Transformer components and repurpose the Transformer architecture without any modification to the basic components. We propose iTransformer that simply applies the attention and feed-forward network on the inverted dimensions. Specifically, the time points of individual series are embedded into variate tokens which are utilized by the attention mechanism to capture multivariate correlations; meanwhile, the feed-forward network is applied for each variate token to learn nonlinear representations. The iTransformer model achieves state-of-the-art on challenging real-world datasets, which further empowers the Transformer family with promoted performance, generalization ability across different variates, and better utilization of arbitrary lookback windows, making it a nice alternative as the fundamental backbone of time series forecasting. Code is available at this repository: https://github.com/thuml/iTransformer.
- Abstract(参考訳): 線形予測モデルの最近のブームは、トランスフォーマーベースの予測器のアーキテクチャ変更に対する継続的な情熱に疑問を呈している。
これらの予測器はTransformerを利用して時系列の時間的トークンに対するグローバルな依存関係をモデル化し、各トークンは同じタイムスタンプの複数の変数によって形成される。
しかし、トランスフォーマーは、性能劣化と計算の爆発により、見返り窓が大きいシリーズの予測に挑戦する。
さらに、各時間トークンの埋め込みは、潜在的な遅延事象と異なる物理的測定を表わす複数の変数を融合させ、変数中心の表現の学習に失敗し、無意味な注意マップをもたらす可能性がある。
本研究では,Transformer コンポーネントの能力的責務を反映し,基本コンポーネントを変更することなく Transformer アーキテクチャを再利用する。
逆次元に注意とフィードフォワードのネットワークを単純に適用するiTransformerを提案する。
具体的には、各系列の時間点を多変量相関を捉えるためにアテンション機構によって利用される可変トークンに埋め込むとともに、各可変トークンに対してフィードフォワードネットワークを適用して非線形表現を学習する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端化を実現し、Transformerファミリーをさらに強化し、パフォーマンスの向上、さまざまな変数をまたいだ一般化能力、任意のルックバックウィンドウの利用性を向上し、時系列予測の基本的なバックボーンとして優れた代替手段となる。
コードは、このリポジトリで入手できる。
関連論文リスト
- U-shaped Transformer: Retain High Frequency Context in Time Series
Analysis [0.5710971447109949]
本稿では,変圧器の低域特性を考察し,その利点を取り入れようと試みる。
パッチマージと分割操作を導入し、異なるスケールの機能を抽出し、より大きなデータセットを使用してトランスフォーマーバックボーンを完全に活用する。
実験により、比較的低コストで複数のデータセットをまたいだ高度なレベルでモデルが動作できることが実証された。
論文 参考訳(メタデータ) (2023-07-18T07:15:26Z) - A K-variate Time Series Is Worth K Words: Evolution of the Vanilla
Transformer Architecture for Long-term Multivariate Time Series Forecasting [52.33042819442005]
トランスフォーマーはMTSFのデファクトソリューションとなっている。
本研究では,MTSFトランスフォーマーアーキテクチャにおける現在のトークン化戦略がトランスフォーマーのトークン帰納バイアスを無視していることを指摘した。
バニラMTSF変圧器の基本構造について一連の進化を行った。
驚いたことに、進化した単純変圧器アーキテクチャは非常に効果的であり、バニラMTSF変圧器の過密現象を回避することに成功している。
論文 参考訳(メタデータ) (2022-12-06T07:00:31Z) - A Time Series is Worth 64 Words: Long-term Forecasting with Transformers [4.635547236305835]
本稿では,時系列予測と自己教師型表現学習のためのトランスフォーマーモデルを提案する。
i) 時系列をサブシリーズレベルのパッチに分割し、Transformerへの入力トークンとして機能させる。
PatchTSTは、SOTA Transformerベースのモデルと比較して、長期予測精度を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-11-27T05:15:42Z) - W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting [7.075125892721573]
我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。
各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2022-09-08T17:39:38Z) - A Differential Attention Fusion Model Based on Transformer for Time
Series Forecasting [4.666618110838523]
時系列予測は、機器ライフサイクル予測、天気予報、交通流予測などの分野で広く利用されている。
一部の学者は、この強力な並列トレーニング能力のために、Transformerを時系列予測に適用しようと試みている。
既存のTransformerメソッドは、予測において決定的な役割を果たす小さな時間セグメントに十分な注意を払わない。
論文 参考訳(メタデータ) (2022-02-23T10:33:12Z) - Transformers in Time Series: A Survey [66.50847574634726]
時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。
ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。
応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
論文 参考訳(メタデータ) (2022-02-15T01:43:27Z) - Vision Transformer with Progressive Sampling [73.60630716500154]
本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。
ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-08-03T18:04:31Z) - Glance-and-Gaze Vision Transformer [13.77016463781053]
我々は Glance-and-Gaze Transformer (GG-Transformer) という新しい視覚変換器を提案する。
自然の場面で物体を認識するとき、人間のGlance and Gazeの行動によって動機付けられている。
提案手法は,従来の最先端変圧器よりも一貫した性能を実現することを実証的に実証する。
論文 参考訳(メタデータ) (2021-06-04T06:13:47Z) - Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。
そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。
提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文 参考訳(メタデータ) (2021-03-30T16:19:27Z) - Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。
本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。
言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
論文 参考訳(メタデータ) (2020-02-21T16:37:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。