論文の概要: A Joint Time-frequency Domain Transformer for Multivariate Time Series
Forecasting
- arxiv url: http://arxiv.org/abs/2305.14649v2
- Date: Sat, 28 Oct 2023 05:16:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 22:14:25.637775
- Title: A Joint Time-frequency Domain Transformer for Multivariate Time Series
Forecasting
- Title(参考訳): 多変量時系列予測のためのジョイントタイム周波数領域トランス
- Authors: Yushu Chen, Shengzhuo Liu, Jinzhe Yang, Hao Jing, Wenlai Zhao, and
Guangwen Yang
- Abstract要約: 本稿では、JTFT(Joint Time-Frequency Domain Transformer)を紹介する。
JTFTは時間と周波数領域の表現を組み合わせて予測を行う。
6つの実世界のデータセットの実験結果から、JTFTは予測性能において最先端のベースラインを上回っていることが示された。
- 参考スコア(独自算出の注目度): 7.501660339993144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order to enhance the performance of Transformer models for long-term
multivariate forecasting while minimizing computational demands, this paper
introduces the Joint Time-Frequency Domain Transformer (JTFT). JTFT combines
time and frequency domain representations to make predictions. The frequency
domain representation efficiently extracts multi-scale dependencies while
maintaining sparsity by utilizing a small number of learnable frequencies.
Simultaneously, the time domain (TD) representation is derived from a fixed
number of the most recent data points, strengthening the modeling of local
relationships and mitigating the effects of non-stationarity. Importantly, the
length of the representation remains independent of the input sequence length,
enabling JTFT to achieve linear computational complexity. Furthermore, a
low-rank attention layer is proposed to efficiently capture cross-dimensional
dependencies, thus preventing performance degradation resulting from the
entanglement of temporal and channel-wise modeling. Experimental results on six
real-world datasets demonstrate that JTFT outperforms state-of-the-art
baselines in predictive performance.
- Abstract(参考訳): 本稿では,長期多変量予測のための変換器モデルの性能向上と計算要求の最小化を目的として,JTFT(Joint Time-Frequency Domain Transformer)を提案する。
JTFTは時間と周波数領域の表現を組み合わせて予測を行う。
周波数領域表現は、少数の学習可能な周波数を利用することで、疎性を維持しながら、効率よくマルチスケール依存関係を抽出する。
同時に、時間領域(td)表現は、最新のデータポイントの固定数から導出され、局所関係のモデリングを強化し、非定常性の影響を緩和する。
重要なことに、表現の長さは入力シーケンスの長さとは独立であり、JTFTは線形計算複雑性を達成できる。
さらに, 時間的およびチャネル的モデリングの絡み合いによる性能劣化を防止すべく, 低ランクの注意層を提案する。
6つの実世界のデータセットの実験結果から、JTFTは予測性能において最先端のベースラインを上回っていることが示された。
関連論文リスト
- ATFNet: Adaptive Time-Frequency Ensembled Network for Long-term Time Series Forecasting [7.694820760102176]
ATFNetは、時間ドメインモジュールと周波数ドメインモジュールを組み合わせた革新的なフレームワークである。
本稿では,2つのモジュール間の重み調整機構であるドミナント・ハーモニック・シリーズ・エナジー・ウェイトリングを紹介する。
我々の複素数値スペクトル注意機構は、異なる周波数の組み合わせ間の複雑な関係を識別するための新しいアプローチを提供する。
論文 参考訳(メタデータ) (2024-04-08T04:41:39Z) - Rough Transformers for Continuous and Efficient Time-Series Modelling [46.58170057001437]
実世界の医療環境における時系列データは、典型的には長距離依存を示し、一様でない間隔で観察される。
本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。
Rough Transformersは、Neural ODEベースのモデルの利点を得ながら、バニラアテンションを一貫して上回ります。
論文 参考訳(メタデータ) (2024-03-15T13:29:45Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳(メタデータ) (2023-12-04T07:39:05Z) - Multi-scale Transformer Pyramid Networks for Multivariate Time Series
Forecasting [8.739572744117634]
短時間の時間依存性をキャプチャする次元不変な埋め込み手法を導入する。
本稿では,マルチスケールトランスフォーマーピラミッドネットワーク(MTPNet)を提案する。
論文 参考訳(メタデータ) (2023-08-23T06:40:05Z) - Stecformer: Spatio-temporal Encoding Cascaded Transformer for
Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。
抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。
予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文 参考訳(メタデータ) (2023-05-25T13:00:46Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳(メタデータ) (2022-11-26T01:56:05Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳(メタデータ) (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。