論文の概要: FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation

• arxiv url: http://arxiv.org/abs/2601.23182v1
• Date: Fri, 30 Jan 2026 17:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.579909
• Title: FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation
• Title（参考訳）: FourierSampler:周波数誘導生成による拡散言語モデルにおける非自己回帰ポテンシャルの解法
• Authors: Siyang He, Qiqi Wang, Xiaoran Liu, Hongnan Ma, Yiwei Shi, Yuerong Song, Ying Zhu, Tianyi Liang, Zengfeng Huang, Ziwei He, Xipeng Qiu,
• Abstract要約: 隠れ状態における低周波成分は主にグローバルな構造情報と長距離依存を符号化し,高周波成分は局所的な詳細を特徴づける役割を担っていることを示す。 そこで本研究では,周波数領域のスライディングウインドウ機構を利用したFourierSamplerを提案する。
• 参考スコア（独自算出の注目度）: 52.63033377447227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the non-autoregressive potential of diffusion language models (dLLMs), existing decoding strategies demonstrate positional bias, failing to fully unlock the potential of arbitrary generation. In this work, we delve into the inherent spectral characteristics of dLLMs and present the first frequency-domain analysis showing that low-frequency components in hidden states primarily encode global structural information and long-range dependencies, while high-frequency components are responsible for characterizing local details. Based on this observation, we propose FourierSampler, which leverages a frequency-domain sliding window mechanism to dynamically guide the model to achieve a "structure-to-detail" generation. FourierSampler outperforms other inference enhancement strategies on LLADA and SDAR, achieving relative improvements of 20.4% on LLaDA1.5-8B and 16.0% on LLaDA-8B-Instruct. It notably surpasses similarly sized autoregressive models like Llama3.1-8B-Instruct.
• Abstract（参考訳）: 拡散言語モデル(dLLM)の非自己回帰的ポテンシャルにもかかわらず、既存の復号法は位置バイアスを示し、任意の生成の可能性を完全に解き放たない。 本研究では,dLLMのスペクトル特性を探索し,隠れ状態の低周波成分が大域的構造情報と長距離依存性を主に符号化し,高周波成分が局所的詳細を特徴づけていることを示す最初の周波数領域分析を示す。 そこで本研究では,周波数領域のスライディングウインドウ機構を利用したFourierSamplerを提案する。 フーリエサンプラーはLLADAとSDARで他の推論強化戦略を上回り、LLaDA1.5-8Bで20.4%、LLaDA-8B-インストラクトで16.0%の相対的な改善を達成した。 Llama3.1-8B-Instructのような同様のサイズの自動回帰モデルを上回る。

関連論文リスト

• Wavelet-Guided Dual-Frequency Encoding for Remote Sensing Change Detection [67.84730634802204]
  リモートセンシング画像の変化検出は,自然災害監視,都市拡張追跡,インフラ管理など,さまざまな工学的応用において重要な役割を担っている。 既存のほとんどの手法は空間領域モデリングに依存しており、特徴表現の限られた多様性は微妙な変化領域の検出を妨げる。 本研究では、特にウェーブレット領域における周波数領域の特徴モデリングが周波数成分の微細な違いを増幅し、空間領域において捉えにくいエッジ変化の知覚を高めることを観察する。
  論文  参考訳（メタデータ） (2025-08-07T11:14:16Z)
• FourierFlow: Frequency-aware Flow Matching for Generative Turbulence Modeling [10.73187148812722]
  本稿では,スペクトルバイアスと共通モード雑音を暗黙的かつ明示的に緩和することにより,周波数認識学習を向上させる新しい生成乱流モデリングフレームワークを提案する。 FourierFlowは,3つの重要なイノベーションで構成されている。まず,局地的認識を備えた健全なフローアテンションブランチと,センシティブな乱流領域に焦点を当てたデュアルブランチバックボーンアーキテクチャを採用する。 第3に、マスク付きオートエンコーダの高周波モデリング機能を活用し、生成モデルの特徴を高周波成分に暗黙的にアライメントする。
  論文  参考訳（メタデータ） (2025-06-01T06:59:27Z)
• FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
  本稿では,潜時拡散モデルにおける周波数制御について検討する。 本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。 FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
  論文  参考訳（メタデータ） (2025-04-02T22:03:11Z)
• STAF: Sinusoidal Trainable Activation Functions for Implicit Neural Representation [7.2888019138115245]
  Inlicit Neural Representations (INR) は、連続的な信号をモデリングするための強力なフレームワークとして登場した。 ReLUベースのネットワークのスペクトルバイアスは、十分に確立された制限であり、ターゲット信号の微細な詳細を捕捉する能力を制限する。 Sinusoidal Trainable Function Activation (STAF)について紹介する。 STAFは本質的に周波数成分を変調し、自己適応型スペクトル学習を可能にする。
  論文  参考訳（メタデータ） (2025-02-02T18:29:33Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。