論文の概要: FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation

• arxiv url: http://arxiv.org/abs/2503.07630v1
• Date: Tue, 04 Mar 2025 19:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 07:11:42.793091
• Title: FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
• Title（参考訳）: FourierNAT:並列シーケンス生成のためのフーリエミキシングベース非自己回帰変換器
• Authors: Andrew Kiruluta, Eric Lundy, Andreas Lemos,
• Abstract要約: 本稿では、デコーダにフーリエを混合して並列に出力シーケンスを生成する非自己回帰変換器(NAT)アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present FourierNAT, a novel non-autoregressive Transformer (NAT) architecture that employs Fourier-based mixing in the decoder to generate output sequences in parallel. While traditional NAT approaches often face challenges with capturing global dependencies, our method leverages a discrete Fourier transform to mix token embeddings across the entire sequence dimension, coupled with learned frequency-domain gating. This allows the model to efficiently propagate context without explicit autoregressive steps. Empirically, FourierNAT achieves competitive results against leading NAT baselines on standard benchmarks like WMT machine translation and CNN/DailyMail summarization, providing significant speed advantages over autoregressive Transformers. We further demonstrate that learned frequency-domain parameters allow the model to adaptively focus on long-range or short-range dependencies, partially mitigating the well-known coherence gaps in one-pass NAT generation. Overall, FourierNAT highlights the potential of integrating spectral-domain operations to accelerate and improve parallel text generation. This approach can potentially provide great computational and time savings in inference tasks LLMs.
• Abstract（参考訳）: 本稿では、Fourier-based mix in the decoderを用いて並列に出力シーケンスを生成する、新しい非自己回帰変換器(NAT)アーキテクチャであるFourierNATを提案する。 従来のNATアプローチは、グローバルな依存関係をキャプチャする上で、しばしば課題に直面するが、我々の手法は、離散フーリエ変換を利用して、シークエンス次元全体にわたってトークンの埋め込みを混合し、学習周波数領域ゲーティングと組み合わせる。 これにより、明示的な自己回帰ステップなしでコンテキストを効率的に伝播することができる。 実証的な結果として、FourierNATはWMT機械翻訳やCNN/DailyMailの要約のような標準ベンチマークでNATベースラインをリードするベンチマークに対して競合的な結果をもたらし、自動回帰トランスフォーマーよりも大きな速度上の利点をもたらす。 さらに、学習周波数領域パラメータにより、一パスNAT生成においてよく知られたコヒーレンスギャップを緩和し、長範囲または短距離の依存関係に適応的にフォーカスできることを示す。 全体として、FourierNATは並列テキスト生成を加速し改善するためにスペクトル領域操作を統合する可能性を強調している。 このアプローチは、推論タスク LLM において、優れた計算と時間節約を提供する可能性がある。

関連論文リスト

• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning [42.862705980039784]
  Transformerは、時間変化のある特徴をモデル化するための強化学習を約束している。 データ効率の低下と推論遅延の低さに悩まされている。 本稿では,周波数領域の新しい視点から課題を考察する。
  論文  参考訳（メタデータ） (2024-05-30T09:43:59Z)
• Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting [28.646457377816795]
  スパースベクトル量子化FFN自由変換器(スパースVQ)について紹介する。 提案手法は,RevIN(Reverse Instance Normalization)と組み合わせた疎ベクトル量子化手法を用いてノイズの影響を低減する。 我々のFFNフリーアプローチは、パラメータカウントをトリムし、計算効率を向上し、オーバーフィッティングを減らす。
  論文  参考訳（メタデータ） (2024-02-08T17:09:12Z)
• WFTNet: Exploiting Global and Local Periodicity in Long-term Time Series Forecasting [61.64303388738395]
  本稿では,長期連続予測のためのWavelet-Fourier Transform Network (WFTNet)を提案する。 さまざまな時系列データセットのテストでは、WFTNetは他の最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-20T13:44:18Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Temporal Fusion Transformers for Streamflow Prediction: Value of Combining Attention with Recurrence [0.0]
  この研究は、繰り返しと注意を組み合わせることで、ストリームフロー予測を改善することができるという仮説をテストする。 我々はこれら2つの側面を組み合わせたTFT(Temporal Fusion Transformer)アーキテクチャを構築した。 その結果,TFT はストリームフロー予測のために LSTM と Transformer が設定した性能ベンチマークをはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T03:58:16Z)
• Directed Acyclic Transformer for Non-Autoregressive Machine Translation [93.31114105366461]
  Directed Acyclic Transfomer (DA-Transformer) は、DAG (Directed Acyclic Graph) の隠れ状態を表す。 DA-Transformerは、平均して約3 BLEUで以前のNATよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-05-16T06:02:29Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• FNetAR: Mixing Tokens with Autoregressive Fourier Transforms [0.0]
  本稿では、FNetARが因果言語モデリングのタスクにおいて、最先端の性能(25.8ppl)を維持していることを示す。 自己回帰フーリエ変換は、ほとんどのTransformerベースの時系列予測モデルにおけるパラメータとして使われる可能性がある。
  論文  参考訳（メタデータ） (2021-07-22T21:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。