論文の概要: Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering

• arxiv url: http://arxiv.org/abs/2508.20206v1
• Date: Wed, 27 Aug 2025 18:33:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.69106
• Title: Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering
• Title（参考訳）: Filter then Attend: スペクトルフィルタによる注意に基づく時系列予測の改善
• Authors: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin,
• Abstract要約: 学習可能な周波数フィルタは、モデルのスペクトル利用率を高めることにより、深部予測モデルの不可欠な部分となる。 本稿では,変圧器モデルの初期モデルにフィルタを追加することにより,長期予測における性能が向上することが確認された。
• 参考スコア（独自算出の注目度）: 2.0901018134712297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models are at the forefront in long time-series forecasting (LTSF). While in many cases, these models are able to achieve state of the art results, they suffer from a bias toward low-frequencies in the data and high computational and memory requirements. Recent work has established that learnable frequency filters can be an integral part of a deep forecasting model by enhancing the model's spectral utilization. These works choose to use a multilayer perceptron to process their filtered signals and thus do not solve the issues found with transformer-based models. In this paper, we establish that adding a filter to the beginning of transformer-based models enhances their performance in long time-series forecasting. We add learnable filters, which only add an additional $\approx 1000$ parameters to several transformer-based models and observe in multiple instances 5-10 \% relative improvement in forecasting performance. Additionally, we find that with filters added, we are able to decrease the embedding dimension of our models, resulting in transformer-based architectures that are both smaller and more effective than their non-filtering base models. We also conduct synthetic experiments to analyze how the filters enable Transformer-based models to better utilize the full spectrum for forecasting.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、時系列予測(LTSF)の最前線にある。 多くの場合、これらのモデルは最先端の結果を達成することができるが、データ内の低頻度と高い計算およびメモリ要求に対するバイアスに悩まされる。 近年の研究では、学習可能な周波数フィルタが、モデルのスペクトル利用率を高めることにより、深部予測モデルの不可欠な部分となることが確認されている。 これらの研究は、フィルタされた信号を処理するために多層パーセプトロンを使用するため、トランスフォーマーベースのモデルで発生する問題を解決しない。 本稿では,変圧器モデルの初期モデルにフィルタを追加することにより,長期予測における性能が向上することが確認された。 学習可能なフィルタを追加し、いくつかのトランスフォーマーベースモデルに$\approx 1000$パラメータを追加するだけで、予測性能が5～10%向上した複数のインスタンスで観察できます。 さらに、フィルタを追加することで、モデルの埋め込み次元を小さくすることができ、結果として、非フィルタリングベースモデルよりも小さく、より効果的なトランスフォーマーベースのアーキテクチャが得られることが分かりました。 また、フィルタがTransformerベースのモデルに対して、予測のために完全なスペクトルをよりよく活用する方法を分析するための合成実験も行います。

関連論文リスト

• Filtering with Time-frequency Analysis: An Adaptive and Lightweight Model for Sequential Recommender Systems Based on Discrete Wavelet Transform [0.8246494848934447]
  ユーザの興味を異なる周波数と時間で複数の信号に分解し、これらの信号の重みを自動的に学習するDWT方式の適応時間周波数フィルタを設計する。 また,適応時間周波数フィルタに基づく逐次レコメンデーションモデルDWTRecを開発した。 実験により,各領域,空間レベル,平均シーケンス長の異なるデータセットにおいて,我々のモデルが最先端のベースラインモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-30T13:28:42Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Combining Slow and Fast: Complementary Filtering for Dynamics Learning [9.11991227308599]
  本研究では,動的モデル学習に対する学習に基づくモデル学習手法を提案する。 また,さらに物理ベースのシミュレータを必要とするハイブリッドモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-27T13:32:47Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Filter-enhanced MLP is All You Need for Sequential Recommendation [89.0974365344997]
  オンラインプラットフォームでは、ログされたユーザの行動データはノイズを含まないことは避けられない。 周波数領域の雑音を減衰させる信号処理から,フィルタアルゴリズムのアイデアを借用する。 逐次レコメンデーションタスクのための学習可能なフィルタを備えたオールMLPモデルである textbfFMLP-Rec を提案する。
  論文  参考訳（メタデータ） (2022-02-28T05:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。