論文の概要: WavefrontDiffusion: Dynamic Decoding Schedule or Improved Reasoning
- arxiv url: http://arxiv.org/abs/2511.19473v1
- Date: Sat, 22 Nov 2025 07:33:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.016453
- Title: WavefrontDiffusion: Dynamic Decoding Schedule or Improved Reasoning
- Title(参考訳): WavefrontDiffusion: 動的デコードスケジュールまたは改善された推論
- Authors: Haojin Yang, Rui Hu, Zequn Sun, Rui Zhou, Yujun Cai, Yiwei Wang,
- Abstract要約: 本稿では,アクティブトークンのウェーブフロントを最終位置から外へ拡張する動的デコード手法であるWavefrontDiffusionを提案する。
推論とコード生成の4つのベンチマークで、WavefrontDiffusionは最先端のパフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 39.57157800995735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Language Models (DLMs) have shown strong potential for text generation and are becoming a competitive alternative to autoregressive models. The denoising strategy plays an important role in determining the quality of their outputs. Mainstream denoising strategies include Standard Diffusion and BlockDiffusion. Standard Diffusion performs global denoising without restricting the update range, often finalizing incomplete context and causing premature end-of-sequence predictions. BlockDiffusion updates fixed-size blocks in a preset order, but its rigid structure can break apart coherent semantic units and disrupt reasoning. We present WavefrontDiffusion, a dynamic decoding approach that expands a wavefront of active tokens outward from finalized positions. This adaptive process follows the natural flow of semantic structure while keeping computational cost equal to block-based methods. Across four benchmarks in reasoning and code generation, WavefrontDiffusion achieves state-of-the-art performance while producing outputs with higher semantic fidelity, showing the value of adaptive scheduling for more coherent and efficient generation.
- Abstract(参考訳): 拡散言語モデル(DLM)は、テキスト生成に強い可能性を示し、自己回帰モデルに代わる競争力を持つものになりつつある。
評価戦略は、アウトプットの品質を決定する上で重要な役割を果たす。
メインストリームのDenoising戦略には、Standard DiffusionとBlockDiffusionがある。
Standard Diffusionは、更新範囲を制限せずにグローバルなデノゲーションを実行し、しばしば不完全なコンテキストを確定し、早めのシーケンス予測を引き起こす。
BlockDiffusionは固定サイズブロックを予め設定された順序で更新するが、その厳密な構造はコヒーレントなセマンティックユニットを分解し、推論を乱す可能性がある。
本稿では,アクティブトークンのウェーブフロントを最終位置から外へ拡張する動的デコード手法であるWavefrontDiffusionを提案する。
この適応的なプロセスは、ブロックベースの手法に匹敵する計算コストを維持しながら、意味構造の自然な流れに従う。
推論とコード生成の4つのベンチマークにおいて、WavefrontDiffusionは、よりセマンティックな忠実度の高い出力を生成しながら、最先端のパフォーマンスを達成する。
関連論文リスト
- Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳(メタデータ) (2025-10-01T18:00:56Z) - Confidence-Modulated Speculative Decoding for Large Language Models [0.0]
本稿では,信頼度変調された起草に基づく投機的復号化のための情報理論フレームワークを提案する。
機械翻訳と要約タスクの実験は、標準的な投機的復号化よりも大幅に高速化された。
論文 参考訳(メタデータ) (2025-08-21T09:06:31Z) - TreeDiff: AST-Guided Code Generation with Diffusion LLMs [27.111814602726227]
本稿では,抽象構文木(AST)の構造的先行を記述プロセスに組み込んだ構文対応拡散フレームワークを提案する。
その結果,構文認識の破損は構文的正当性,再構成精度,不明なコードパターンへの一般化を著しく改善することが示された。
論文 参考訳(メタデータ) (2025-08-02T19:46:09Z) - CtrlDiff: Boosting Large Diffusion Language Models with Dynamic Block Prediction and Controllable Generation [13.250999667915254]
拡散ベースの言語モデルは、強力な並列生成機能と固有の編集性のために、魅力的な代替手段として登場した。
ローカルセマンティクスに基づいて各生成ブロックのサイズを適応的に決定する動的かつ制御可能な半自動回帰フレームワークであるCtrlDiffを提案する。
論文 参考訳(メタデータ) (2025-05-20T14:52:41Z) - SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。
シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。
実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
論文 参考訳(メタデータ) (2022-12-20T15:16:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。