論文の概要: FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation

• arxiv url: http://arxiv.org/abs/2503.07630v2
• Date: Tue, 15 Apr 2025 21:21:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 20:12:20.991567
• Title: FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
• Title（参考訳）: FourierNAT:並列シーケンス生成のためのフーリエミキシングベース非自己回帰変換器
• Authors: Andrew Kiruluta, Eric Lundy, Andreas Lemos,
• Abstract要約: 本稿では、デコーダにフーリエを混合して並列に出力シーケンスを生成する非自己回帰変換器(NAT)アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present FourierNAT, a novel non-autoregressive Transformer (NAT) architecture that employs Fourier-based mixing in the decoder to generate output sequences in parallel. While traditional NAT approaches often face challenges with capturing global dependencies, our method leverages a discrete Fourier transform to mix token embeddings across the entire sequence dimension, coupled with learned frequency-domain gating. This allows the model to efficiently propagate context without explicit autoregressive steps. Empirically, FourierNAT achieves competitive results against leading NAT baselines on standard benchmarks like WMT machine translation and CNN/DailyMail summarization, providing significant speed advantages over autoregressive Transformers. We further demonstrate that learned frequency-domain parameters allow the model to adaptively focus on long-range or short-range dependencies, partially mitigating the well-known coherence gaps in one-pass NAT generation. Overall, FourierNAT highlights the potential of integrating spectral-domain operations to accelerate and improve parallel text generation. This approach can potentially provide great computational and time savings in inference tasks LLMs.
• Abstract（参考訳）: 本稿では、Fourier-based mix in the decoderを用いて並列に出力シーケンスを生成する、新しい非自己回帰変換器(NAT)アーキテクチャであるFourierNATを提案する。 従来のNATアプローチは、グローバルな依存関係をキャプチャする上で、しばしば課題に直面するが、我々の手法は、離散フーリエ変換を利用して、シークエンス次元全体にわたってトークンの埋め込みを混合し、学習周波数領域ゲーティングと組み合わせる。 これにより、明示的な自己回帰ステップなしでコンテキストを効率的に伝播することができる。 実証的な結果として、FourierNATはWMT機械翻訳やCNN/DailyMailの要約のような標準ベンチマークでNATベースラインをリードするベンチマークに対して競合的な結果をもたらし、自動回帰トランスフォーマーよりも大きな速度上の利点をもたらす。 さらに、学習周波数領域パラメータにより、一パスNAT生成においてよく知られたコヒーレンスギャップを緩和し、長範囲または短距離の依存関係に適応的にフォーカスできることを示す。 全体として、FourierNATは並列テキスト生成を加速し改善するためにスペクトル領域操作を統合する可能性を強調している。 このアプローチは、推論タスク LLM において、優れた計算と時間節約を提供する可能性がある。

関連論文リスト

• Learnable Multi-Scale Wavelet Transformer: A Novel Alternative to Self-Attention [0.0]
  Learnable Multi-Scale Wavelet Transformer (LMWT) は、標準的なドット生成の自己アテンションを置き換える新しいアーキテクチャである。 本稿では,学習可能なHaarウェーブレットモジュールの詳細な数学的定式化とトランスフォーマーフレームワークへの統合について述べる。 この結果から,LMWTは計算上の優位性を保ちながら,競争性能を向上することが示された。
  論文  参考訳（メタデータ） (2025-04-08T22:16:54Z)
• Efficient Time Series Forecasting via Hyper-Complex Models and Frequency Aggregation [1.024113475677323]
  時系列予測は、統計学と機械学習における長年の問題である。 本稿では、新しい複合価値アーキテクチャに基づく周波数情報集約(FIA)ネットワークを提案する。 各種時系列ベンチマークを用いてFIA-Netを評価し,提案手法が精度と効率の両面で既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-27T11:03:37Z)
• The FFT Strikes Back: An Efficient Alternative to Self-Attention [0.0]
  本稿では,長周期の適応スペクトルフィルタリングフレームワークbfFFTNetを紹介する。 入力を周波数領域に変換することで、FFTNetはParsevalの定理を利用して、長距離依存関係を効率的にキャプチャする。 主な理論的貢献は,1)適応スペクトルフィルタ,2)局所ウィンドウとグローバルFFT分岐を組み合わせること,および3)周波数領域とトークン領域の両方におけるリッチ非線形性の導入である。
  論文  参考訳（メタデータ） (2025-02-25T17:43:43Z)
• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• WFTNet: Exploiting Global and Local Periodicity in Long-term Time Series Forecasting [61.64303388738395]
  本稿では,長期連続予測のためのWavelet-Fourier Transform Network (WFTNet)を提案する。 さまざまな時系列データセットのテストでは、WFTNetは他の最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-20T13:44:18Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Directed Acyclic Transformer for Non-Autoregressive Machine Translation [93.31114105366461]
  Directed Acyclic Transfomer (DA-Transformer) は、DAG (Directed Acyclic Graph) の隠れ状態を表す。 DA-Transformerは、平均して約3 BLEUで以前のNATよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-05-16T06:02:29Z)
• Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion [0.0]
  変圧器のアテンション機構を代替するスペクトル技術について再検討する。 次世代変圧器モデルにおけるこの手法の包括的で斬新な改質について述べる。
  論文  参考訳（メタデータ） (2021-11-25T18:03:41Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• FNetAR: Mixing Tokens with Autoregressive Fourier Transforms [0.0]
  本稿では、FNetARが因果言語モデリングのタスクにおいて、最先端の性能(25.8ppl)を維持していることを示す。 自己回帰フーリエ変換は、ほとんどのTransformerベースの時系列予測モデルにおけるパラメータとして使われる可能性がある。
  論文  参考訳（メタデータ） (2021-07-22T21:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。