論文の概要: FreEformer: Frequency Enhanced Transformer for Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2501.13989v1
• Date: Thu, 23 Jan 2025 08:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:58:00.415082
• Title: FreEformer: Frequency Enhanced Transformer for Multivariate Time Series Forecasting
• Title（参考訳）: FreEformer:多変量時系列予測のための周波数拡張変換器
• Authors: Wenzhen Yue, Yong Liu, Xianghua Ying, Bowei Xing, Ruohao Guo, Ji Shi,
• Abstract要約: 本稿は,textbfFrequency textbfEnhanced Transtextbfformerを利用した,シンプルで効果的なモデルである textbfFreEformerを提案する。 実験により、FreEformerは18の現実世界のベンチマークで最先端のモデルより一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 17.738942892605234
• License:
• Abstract: This paper presents \textbf{FreEformer}, a simple yet effective model that leverages a \textbf{Fre}quency \textbf{E}nhanced Trans\textbf{former} for multivariate time series forecasting. Our work is based on the assumption that the frequency spectrum provides a global perspective on the composition of series across various frequencies and is highly suitable for robust representation learning. Specifically, we first convert time series into the complex frequency domain using the Discrete Fourier Transform (DFT). The Transformer architecture is then applied to the frequency spectra to capture cross-variate dependencies, with the real and imaginary parts processed independently. However, we observe that the vanilla attention matrix exhibits a low-rank characteristic, thus limiting representation diversity. This could be attributed to the inherent sparsity of the frequency domain and the strong-value-focused nature of Softmax in vanilla attention. To address this, we enhance the vanilla attention mechanism by introducing an additional learnable matrix to the original attention matrix, followed by row-wise L1 normalization. Theoretical analysis~demonstrates that this enhanced attention mechanism improves both feature diversity and gradient flow. Extensive experiments demonstrate that FreEformer consistently outperforms state-of-the-art models on eighteen real-world benchmarks covering electricity, traffic, weather, healthcare and finance. Notably, the enhanced attention mechanism also consistently improves the performance of state-of-the-art Transformer-based forecasters.
• Abstract（参考訳）: 本稿では,多変量時系列の予測に \textbf{Fre}quency \textbf{E}nhanced Trans\textbf{former} を利用する,単純で効果的なモデルである \textbf{FreEformer} を提案する。 我々の研究は、周波数スペクトルが様々な周波数にまたがる系列の構成に関する大域的な視点を提供し、ロバストな表現学習に非常に適しているという仮定に基づいている。 具体的には、まず、離散フーリエ変換(DFT)を用いて時系列を複素周波数領域に変換する。 その後、Transformerアーキテクチャが周波数スペクトルに適用され、実部と虚部が独立して処理される。 しかし,バニラアテンション行列は低ランク特性を示すため,表現の多様性が制限される。 これは、周波数領域の本質的な間隔と、バニラ注意におけるソフトマックスの強い値に焦点をあてた性質に起因していると考えられる。 これを解決するために、元の注目行列に学習可能な行列を追加し、次に行ワイドL1正規化を行うことにより、バニラ注意機構を強化する。 理論的解析—この強化された注意機構は特徴多様性と勾配流の両方を改善することを証明している。 大規模な実験によると、FreEformerは電気、交通、天気、医療、金融に関する18の現実世界のベンチマークで、最先端のモデルを一貫して上回っている。 特に、改良されたアテンション機構は、最先端のTransformerベースの予測器の性能を一貫して改善する。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Content-aware Balanced Spectrum Encoding in Masked Modeling for Time Series Classification [25.27495694566081]
  マスクド・モデリング・スキームにおけるスペクトル空間の符号化品質を最適化する補助的コンテンツ認識バランスド・デコーダ(CBD)を提案する。 CBDは一連の基本ブロックを反復し、2つの調整されたユニットのおかげで、各ブロックは徐々にマスクされた表現を洗練させることができた。
  論文  参考訳（メタデータ） (2024-12-17T14:12:20Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Frequency Guidance Matters: Skeletal Action Recognition by Frequency-Aware Mixed Transformer [18.459822172890473]
  骨格の周波数表現を除去するための周波数認識型アテンションモジュールを提案する。 また、周波数特徴を持つ空間特徴を組み込む混合変圧器アーキテクチャも開発している。 FreqMiXFormerは3つの一般的な骨格認識データセットでSOTAを上回っている。
  論文  参考訳（メタデータ） (2024-07-17T05:47:27Z)
• Deep Frequency Derivative Learning for Non-stationary Time Series Forecasting [12.989064148254936]
  非定常時系列予測のためのディープ周波数微分学習フレームワークDERITSを提案する。 具体的には、DERITSは、新しい可逆変換、すなわち周波数微分変換(FDT)に基づいて構築される。
  論文  参考訳（メタデータ） (2024-06-29T17:56:59Z)
• A Joint Time-frequency Domain Transformer for Multivariate Time Series Forecasting [7.501660339993144]
  本稿では、JTFT(Joint Time-Frequency Domain Transformer)を紹介する。 JTFTは時間と周波数領域の表現を組み合わせて予測を行う。 6つの実世界のデータセットの実験結果から、JTFTは予測性能において最先端のベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-05-24T02:37:23Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Masked Frequency Modeling for Self-Supervised Visual Pre-Training [102.89756957704138]
  MFM(Masked Frequency Modeling)は、視覚モデルの自己教師付き事前学習のための統合周波数領域に基づくアプローチである。 MFMはまず入力画像の周波数成分の一部をマスクアウトし、周波数スペクトルの欠落周波数を予測する。 MFMは初めて、ViTとCNNの両方で、単純な非シームフレームワークは、以下のものを使って意味のある表現を学習できることを示した。
  論文  参考訳（メタデータ） (2022-06-15T17:58:30Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。