論文の概要: W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2209.03945v1
- Date: Thu, 8 Sep 2022 17:39:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-09 12:48:08.572964
- Title: W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting
- Title(参考訳): w-transformers : 不定時系列予測のためのウェーブレットベースのトランスフォーマフレームワーク
- Authors: Lena Sasal, Tanujit Chakraborty, Abdenour Hadid
- Abstract要約: 我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。
各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
- 参考スコア(独自算出の注目度): 7.075125892721573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning utilizing transformers has recently achieved a lot of success
in many vital areas such as natural language processing, computer vision,
anomaly detection, and recommendation systems, among many others. Among several
merits of transformers, the ability to capture long-range temporal dependencies
and interactions is desirable for time series forecasting, leading to its
progress in various time series applications. In this paper, we build a
transformer model for non-stationary time series. The problem is challenging
yet crucially important. We present a novel framework for univariate time
series representation learning based on the wavelet-based transformer encoder
architecture and call it W-Transformer. The proposed W-Transformers utilize a
maximal overlap discrete wavelet transformation (MODWT) to the time series data
and build local transformers on the decomposed datasets to vividly capture the
nonstationarity and long-range nonlinear dependencies in the time series.
Evaluating our framework on several publicly available benchmark time series
datasets from various domains and with diverse characteristics, we demonstrate
that it performs, on average, significantly better than the baseline
forecasters for short-term and long-term forecasting, even for datasets that
consist of only a few hundred training samples.
- Abstract(参考訳): 近年,自然言語処理,コンピュータビジョン,異常検出,レコメンデーションシステムなど,多くの重要な分野において,トランスフォーマーを利用したディープラーニングが成功を収めている。
変圧器のいくつかの利点のうち、時系列予測には長距離の時間依存性と相互作用を捉える能力が望ましいため、様々な時系列アプリケーションでその進歩をもたらす。
本稿では,非定常時系列に対する変圧器モデルを構築する。
問題は難しいが、極めて重要である。
本稿ではウェーブレットベースのトランスフォーマーエンコーダアーキテクチャに基づく一変量時系列表現学習のための新しいフレームワークについて述べる。
提案するW-Transformerは,時系列データに最大重なり合う離散ウェーブレット変換(MODWT)を用い,分解データセット上に局所変換器を構築し,時系列における非定常性および長距離非線形依存性を鮮明に捉える。
様々な領域から公開されているベンチマーク時系列データセットと様々な特性を用いてフレームワークの評価を行い、数百のトレーニングサンプルからなるデータセットであっても、短期および長期予測のベースライン予測よりも平均的にはるかに優れた性能を示すことを示した。
関連論文リスト
- Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Multi-resolution Time-Series Transformer for Long-term Forecasting [26.255789064084578]
様々な時間パターンを異なる解像度で同時モデリングするための新しいフレームワークMTST(Multi- resolution Time-Series Transformer)を提案する。
多くの既存の時系列変換器とは対照的に、異なるスケールで周期成分を抽出するのに適する相対的な位置符号化を用いる。
論文 参考訳(メタデータ) (2023-11-07T17:18:52Z) - iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳(メタデータ) (2023-10-10T13:44:09Z) - U-shaped Transformer: Retain High Frequency Context in Time Series
Analysis [0.5710971447109949]
本稿では,変圧器の低域特性を考察し,その利点を取り入れようと試みる。
パッチマージと分割操作を導入し、異なるスケールの機能を抽出し、より大きなデータセットを使用してトランスフォーマーバックボーンを完全に活用する。
実験により、比較的低コストで複数のデータセットをまたいだ高度なレベルでモデルが動作できることが実証された。
論文 参考訳(メタデータ) (2023-07-18T07:15:26Z) - Stecformer: Spatio-temporal Encoding Cascaded Transformer for
Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。
抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。
予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文 参考訳(メタデータ) (2023-05-25T13:00:46Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-07-16T04:05:15Z) - Transformers in Time Series: A Survey [66.50847574634726]
時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。
ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。
応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
論文 参考訳(メタデータ) (2022-02-15T01:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。