論文の概要: The FFT Strikes Back: An Efficient Alternative to Self-Attention

• arxiv url: http://arxiv.org/abs/2502.18394v1
• Date: Tue, 25 Feb 2025 17:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:21:39.734699
• Title: The FFT Strikes Back: An Efficient Alternative to Self-Attention
• Title（参考訳）: FFTが逆戻り:自己認識の効果的な代替手段
• Authors: Jacob Fein-Ashley,
• Abstract要約: 我々は、$mathcalO(nlog n)$時間でグローバルトークンの混合を実現するための適応スペクトルフィルタリングフレームワークであるFFTNetを紹介する。 学習可能なスペクトルフィルタとmodReLUアクティベーションは、従来の自己アテンションに対する厳密で適応的な代替手段を提供するために、サルエント周波数成分を動的に強調する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Conventional self-attention mechanisms incur quadratic complexity, limiting their scalability on long sequences. We introduce FFTNet, an adaptive spectral filtering framework that leverages the Fast Fourier Transform (FFT) to achieve global token mixing in $\mathcal{O}(n\log n)$ time. By transforming inputs into the frequency domain, FFTNet exploits the orthogonality and energy preservation guaranteed by Parseval's theorem to capture long-range dependencies efficiently. A learnable spectral filter and modReLU activation dynamically emphasize salient frequency components, providing a rigorous and adaptive alternative to traditional self-attention. Experiments on the Long Range Arena and ImageNet benchmarks validate our theoretical insights and demonstrate superior performance over fixed Fourier and standard attention models.
• Abstract（参考訳）: 従来の自己アテンション機構は2次複雑であり、長い列のスケーラビリティを制限している。 FFTNetは、Fast Fourier Transform(FFT)を利用して、$\mathcal{O}(n\log n)$時間でグローバルトークンの混合を実現する適応スペクトルフィルタリングフレームワークである。 入力を周波数領域に変換することで、FFTNetはParsevalの定理によって保証される直交性とエネルギー保存を利用して、長距離依存を効率的に捉える。 学習可能なスペクトルフィルタとmodReLUアクティベーションは、従来の自己アテンションに対する厳密で適応的な代替手段を提供するために、サルエント周波数成分を動的に強調する。 Long Range ArenaとImageNetベンチマークの実験は、我々の理論的洞察を検証し、固定されたフーリエおよび標準の注意モデルよりも優れた性能を示す。

関連論文リスト

• FreEformer: Frequency Enhanced Transformer for Multivariate Time Series Forecasting [17.738942892605234]
  本稿は,textbfFrequency textbfEnhanced Transtextbfformerを利用した,シンプルで効果的なモデルである textbfFreEformerを提案する。 実験により、FreEformerは18の現実世界のベンチマークで最先端のモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-01-23T08:53:45Z)
• Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis [9.969451740838418]
  時系列解析のためのコンパクトで強力なソリューションであるニューラルフーリエモデリング(NFM)を導入する。 NFM はフーリエ変換 (FT) の2つの重要な性質 (i) 有限長時系列をフーリエ領域の関数としてモデル化する能力 (ii) フーリエ領域内のデータ操作の能力 (ii) に基礎を置いている。 NFMは幅広いタスクで最先端のパフォーマンスを達成しており、テスト時にこれまで見つからなかったサンプリングレートを持つ時系列シナリオに挑戦する。
  論文  参考訳（メタデータ） (2024-10-07T02:39:55Z)
• ATFNet: Adaptive Time-Frequency Ensembled Network for Long-term Time Series Forecasting [7.694820760102176]
  ATFNetは、時間ドメインモジュールと周波数ドメインモジュールを組み合わせた革新的なフレームワークである。 本稿では,2つのモジュール間の重み調整機構であるドミナント・ハーモニック・シリーズ・エナジー・ウェイトリングを紹介する。 我々の複素数値スペクトル注意機構は、異なる周波数の組み合わせ間の複雑な関係を識別するための新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2024-04-08T04:41:39Z)
• WFTNet: Exploiting Global and Local Periodicity in Long-term Time Series Forecasting [61.64303388738395]
  本稿では,長期連続予測のためのWavelet-Fourier Transform Network (WFTNet)を提案する。 さまざまな時系列データセットのテストでは、WFTNetは他の最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-20T13:44:18Z)
• Adaptive Frequency Filters As Efficient Global Token Mixers [100.27957692579892]
  適応周波数フィルタは効率的なグローバルトークンミキサーとして機能することを示す。 我々は、AFFNetと呼ばれる軽量ニューラルネットワークを構築するために、AFFトークンミキサーを主要なニューラルネットワークとして捉えています。
  論文  参考訳（メタデータ） (2023-07-26T07:42:28Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Dynamic Temporal Filtering in Video Models [128.02725199486719]
  時間的特徴学習の新しいレシピである動的時間フィルタ(DTF)を提案する。 DTFは、その長距離時間ダイナミクスをモデル化するために、空間的位置ごとに特別な周波数フィルタを学習する。 DTFブロックをConvNetsとTransformerにプラグインすることで、DTF-NetとDTF-Transformerが得られる。
  論文  参考訳（メタデータ） (2022-11-15T15:59:28Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。