論文の概要: Fredformer: Frequency Debiased Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2406.09009v3
• Date: Wed, 19 Jun 2024 09:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 01:17:00.201184
• Title: Fredformer: Frequency Debiased Transformer for Time Series Forecasting
• Title（参考訳）: Fredformer: 時系列予測のための周波数デバイアス変換器
• Authors: Xihao Piao, Zheng Chen, Taichi Murayama, Yasuko Matsubara, Yasushi Sakurai,
• Abstract要約: Transformerモデルは時系列予測において主要なパフォーマンスを示している。 データの中で低周波の特徴を学習し、高周波の特徴を見落とし、周波数バイアスを示す傾向がある。 そこで我々はFredformerを提案する。Fredformerは、異なる周波数帯域にまたがる特徴を均等に学習することで、周波数バイアスを軽減するために設計されたフレームワークである。
• 参考スコア（独自算出の注目度）: 8.356290446630373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Transformer model has shown leading performance in time series forecasting. Nevertheless, in some complex scenarios, it tends to learn low-frequency features in the data and overlook high-frequency features, showing a frequency bias. This bias prevents the model from accurately capturing important high-frequency data features. In this paper, we undertook empirical analyses to understand this bias and discovered that frequency bias results from the model disproportionately focusing on frequency features with higher energy. Based on our analysis, we formulate this bias and propose Fredformer, a Transformer-based framework designed to mitigate frequency bias by learning features equally across different frequency bands. This approach prevents the model from overlooking lower amplitude features important for accurate forecasting. Extensive experiments show the effectiveness of our proposed approach, which can outperform other baselines in different real-world time-series datasets. Furthermore, we introduce a lightweight variant of the Fredformer with an attention matrix approximation, which achieves comparable performance but with much fewer parameters and lower computation costs. The code is available at: https://github.com/chenzRG/Fredformer
• Abstract（参考訳）: Transformerモデルは時系列予測において主要なパフォーマンスを示している。 それでも複雑なシナリオでは、データ内の低周波の特徴を学習し、高周波の特徴を見落とし、周波数バイアスを示す傾向にある。 このバイアスは、モデルが重要な高周波データ特徴を正確にキャプチャすることを防ぐ。 本稿では,このバイアスを理解するための実験的な分析を行い,高エネルギーの周波数特性に着目したモデルによる周波数バイアスが不均等に発生することを発見した。 我々は,このバイアスを定式化し,周波数帯域の異なる特徴を均等に学習することで周波数バイアスを緩和するトランスフォーマーベースのフレームワークであるFredformerを提案する。 このアプローチは、モデルが正確な予測に重要な低振幅の特徴を見落としないようにする。 大規模な実験により,提案手法の有効性が示され,実世界の時系列データセットにおいて,他のベースラインよりも優れていることがわかった。 さらに,注目行列近似を用いたFredformerの軽量版を導入し,より少ないパラメータと少ない計算コストで同等の性能を実現する。 コードは、https://github.com/chenzRG/Fredformer.comで入手できる。

関連論文リスト

• FM-TS: Flow Matching for Time Series Generation [71.31148785577085]
  本稿では、時系列生成のための修正フローマッチングベースのフレームワークFM-TSを紹介する。 FM-TSは、トレーニングと推論の点でより効率的である。 我々は、太陽予測とMuJoCo計算タスクにおいて優れた性能を達成した。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• FredNormer: Frequency Domain Normalization for Non-stationary Time Series Forecasting [18.54376910126127]
  我々はFredNormerを提案し、周波数の観点からデータセットを観察し、鍵周波数成分を適応的にアップウェイトする。 FredNormer はプラグイン・アンド・プレイモジュールであり、既存の正規化手法と比べて効率を損なわない。
  論文  参考訳（メタデータ） (2024-10-02T04:05:50Z)
• Not All Frequencies Are Created Equal:Towards a Dynamic Fusion of Frequencies in Time-Series Forecasting [9.615808695919647]
  時系列予測手法は、異なるシナリオに適用する場合、柔軟であるべきです。 本稿では、各フーリエ成分を個別に予測し、異なる周波数の出力を動的に融合する周波数動的融合(FreDF)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T08:54:41Z)
• Deep Frequency Derivative Learning for Non-stationary Time Series Forecasting [12.989064148254936]
  非定常時系列予測のためのディープ周波数微分学習フレームワークDERITSを提案する。 具体的には、DERITSは、新しい可逆変換、すなわち周波数微分変換(FDT)に基づいて構築される。
  論文  参考訳（メタデータ） (2024-06-29T17:56:59Z)
• FreDF: Learning to Forecast in Frequency Domain [56.24773675942897]
  時系列モデリングは、歴史的シーケンスとラベルシーケンスの両方に自己相関が存在するという点で、独特な課題である。 本稿では、周波数領域の予測を学習することでラベル自己相関の複雑さを回避できる周波数強調直接予測(FreDF)を導入する。
  論文  参考訳（メタデータ） (2024-02-04T08:23:41Z)
• WFTNet: Exploiting Global and Local Periodicity in Long-term Time Series Forecasting [61.64303388738395]
  本稿では,長期連続予測のためのWavelet-Fourier Transform Network (WFTNet)を提案する。 さまざまな時系列データセットのテストでは、WFTNetは他の最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-20T13:44:18Z)
• FECAM: Frequency Enhanced Channel Attention Mechanism for Time Series Forecasting [21.933798421967225]
  時系列予測は、実世界の情報が様々なシナリオにあるため、長年にわたる課題である。 モデルが、実世界のデータセットに豊富に含まれている周波数情報をキャプチャする能力に欠けているのは、そのためだと私たちは考えています。 離散コサイン変換に基づく周波数相互依存性を適応的にモデル化する新しい周波数強調チャネルアテンションを提案する。
  論文  参考訳（メタデータ） (2022-12-02T14:40:55Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Simpler is better: spectral regularization and up-sampling techniques for variational autoencoders [1.2234742322758418]
  ニューラルネットワークに基づく生成モデルのスペクトル挙動のキャラクタリゼーションは未解決のままである。 最近の研究は、生成的対向ネットワークと、実画像と生成画像の高周波の相違に重点を置いている。 変分オートエンコーダ(VAE)のための単純な2次元フーリエ変換に基づくスペクトル正規化損失を提案する。
  論文  参考訳（メタデータ） (2022-01-19T11:49:57Z)
• Real Time Speech Enhancement in the Waveform Domain [99.02180506016721]
  本稿では,ラップトップCPU上でリアルタイムに動作する生波形を用いた因果音声強調モデルを提案する。 提案モデルは、スキップ接続を持つエンコーダデコーダアーキテクチャに基づいている。 静止ノイズや非定常ノイズを含む様々な背景ノイズを除去することができる。
  論文  参考訳（メタデータ） (2020-06-23T09:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。