Fugu-MT 論文翻訳(概要): Speculative Correction: Draft-then-Refine Decoding for Diffusion Language Models

論文の概要: Speculative Correction: Draft-then-Refine Decoding for Diffusion Language Models

arxiv url: http://arxiv.org/abs/2608.02625v1
Date: Tue, 21 Jul 2026 17:58:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-09 10:00:34.268649
Title: Speculative Correction: Draft-then-Refine Decoding for Diffusion Language Models
Title（参考訳）: 投機的補正:拡散言語モデルのためのドラフト-then-refine復号法
Abstract要約: まず、まず完全なドラフトを生成し、次に双方向拡散を用いて完全な応答を洗練する。 LLaDA2.1-FlashとLLaDA2.1-Miniの2つの構成を評価する。 Flash-FlashはGSM8K-384の精度を0.848から0.899に改善し、選択したFlashブロック自動回帰ベースラインの1.20倍高速に動作した。 Mini-Flashは2.17倍高速に動作しながら、0.294対0.300のMATH-384性能を含む、有用な品質とレイテンシのトレードオフを提供する。
参考スコア（独自算出の注目度）: 50.758327861505784
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Diffusion language models (DLMs) can revise tokens bidirectionally, but standard decoding procedures often adapt them to left-to-right generation by producing text block by block. We study a simple plug-and-play inference pattern: first generate a complete draft, then refine the full response using bidirectional diffusion. Using LLaDA2.1-Flash and LLaDA2.1-Mini, we evaluate two configurations. In Flash-Flash, the same Flash model serves as both drafter and refiner, testing whether an existing model can improve its own block-autoregressive output through global refinement. In Mini-Flash, inspired by speculative decoding, we introduce speculative correction: Mini drafts a full response, and Flash revises it as an editable initialization. Flash-Flash improves GSM8K-384 accuracy from 0.848 to 0.899 while running 1.20 times faster than the selected Flash block-autoregressive baseline, and improves MBPP-384 from 0.545 to 0.693. Latency-window-matched Flash-only controls indicate that these gains persist after targeted tuning of block-autoregressive decoding. Causal ablations indicate that completed drafts provide useful initializations: refinement from a fully masked span performs poorly, full global refinement provides a clear additional gain on GSM8K, and local refinement captures much of the gain on MBPP and MATH. Mini-Flash provides useful quality-latency trade-offs, including MATH-384 performance of 0.294 versus 0.300 for Flash while running 2.17 times faster. These results support a Pareto-frontier interpretation rather than the claim that the heterogeneous cascade uniformly matches Flash quality. Overall, same-model draft-and-refine provides evidence that bidirectional refinement is a useful decoding primitive for DLMs, while speculative correction demonstrates a training-free route to fast DLM generation.
Abstract（参考訳）: 拡散言語モデル (DLM) はトークンを双方向に修正することができるが、標準的な復号処理はブロック単位でテキストブロックを生成することで左から右への生成に適応することが多い。まず、まず完全なドラフトを生成し、次に双方向拡散を用いて完全な応答を洗練する。 LLaDA2.1-FlashとLLaDA2.1-Miniを用いて2つの構成を評価する。 Flash-Flashでは、同じFlashモデルがドラフトとリファインダーの両方として機能し、既存のモデルがグローバルリファインメントを通じて独自のブロック自己回帰出力を改善することができるかどうかをテストする。 Miniは完全なレスポンスをドラフトし、Flashは編集可能な初期化として修正します。 Flash-FlashはGSM8K-384の精度を0.848から0.899に改善し、選択されたFlashブロック自動回帰ベースラインの1.20倍高速に動作し、MBPP-384を0.545から0.693に改善した。 Latency-window-matched Flash-onlyコントロールは、ブロック自動回帰復号のターゲットチューニング後にこれらのゲインが持続することを示している。完全なマスク付きスパンからの改良は不十分であり、完全なグローバルな改良はGSM8Kに対する明らかな追加的な利益をもたらし、局所的な改良はMBPPとMATHにおける多くの利益を捉えている。 Mini-Flashは2.17倍高速に動作しながら、0.294対0.300のMATH-384性能を含む、有用な品質とレイテンシのトレードオフを提供する。これらの結果は、異種カスケードがFlashの品質に均一に一致するという主張よりも、Pareto-frontier解釈を支持する。全体として、同一モデルのドラフト・アンド・リファインメントは、双方向の精細化がDLMにとって有用な復号プリミティブであることを示す一方、投機的補正は高速なDLM生成への訓練のない経路を示す。

関連論文リスト

DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文参考訳（メタデータ） (2026-07-31T16:11:46Z)
WhiFlash: Accelerating Speculative Decoding with Token-Level Cross-Paradigm Routing [44.656073829954636]
WhiFlashは、単一トークンレベルのコントローラの下で自動回帰および拡散ベースの並列ドラフトを統一する、クロスパラダイムなSDメソッドである。また,WhiFlashは高い受信長を実現し,カテゴリ固有のスループットを最大69.6%向上させることを示した。
論文参考訳（メタデータ） (2026-06-05T13:23:33Z)
Self-Adversarial One Step Generation via Condition Shifting [11.426065945265647]
APEXは、フローモデルから不均一に抽出された逆補正信号のフレームワークである。私たちの0.6BモデルはFLUX-Schnell 12B(20$times$ more parameters)を1ステップ品質で上回ります。 Qwen-Image 20BのLoRAチューニングにより、APEXは6時間でNFE=1のGenEvalスコア0.89に達し、最初の50ステップの教師(0.87)を超え、15.33$times$推論スピードアップを提供する。
論文参考訳（メタデータ） (2026-04-14T05:54:33Z)
JoyAI-LLM Flash: Advancing Mid-Scale LLMs with Token Efficiency [56.46698214215968]
JoyAI-LLM Flashは、強力なパフォーマンスとトークン効率のトレードオフを再定義するために設計された、効率的なMixture-of-Experts (MoE)言語モデルである。 JoyAI-LLM Flashは20兆トークンの巨大なコーパスで事前トレーニングされており、厳格なポストトレーニングパイプラインを通じてさらに最適化されている。
論文参考訳（メタデータ） (2026-04-03T13:52:38Z)
FlashSampling: Fast and Memory-Efficient Exact Sampling [62.5203057469482]
FlashSamplingは正確なサンプリングプリミティブで、LMヘッドのマトゥルにサンプリングを融合し、ロジットテンソルを生成しない。 H100、H200、B200、B300 GPU全体で、FlashSamplingはカーネルレベルのデコードワークロードを高速化する。エンドツーエンドのvLLM実験では、テストしたモデルで出力トークン当たりの時間を最大19%削減します。
論文参考訳（メタデータ） (2026-03-16T19:37:08Z)
DFlash: Block Diffusion for Flash Speculative Decoding [11.98141750480807]
自己回帰型大規模言語モデル(LLM)は高い性能を提供するが、本質的にシーケンシャルなデコーディングを必要とする。本稿では,並列起草のための軽量ブロック拡散モデルを用いた投機的復号化フレームワークであるDFlashを紹介する。
論文参考訳（メタデータ） (2026-02-05T18:59:30Z)
Balancing Understanding and Generation in Discrete Diffusion Models [58.62235340638143]
Masked Diffusion Language Models (MDLM) は意味理解とゼロショットの一般化に優れる。 UDLM(Uniform-Noise Diffusion Language Models)は、強力な数ステップ生成品質を実現する。定常雑音カーネルを介して2つのパラダイムをブリッジするXDLMを提案する。
論文参考訳（メタデータ） (2026-02-01T18:00:35Z)
Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
論文参考訳（メタデータ） (2025-09-30T14:40:18Z)
FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs [2.9406946721643092]
本稿では,単一インスタンス配置シナリオに対するMLA推論を強化する新しいフレームワークであるFlashMLA-ETAPを紹介する。 ETAP は、KV コンテキスト長を WGMMA 操作の (M)-次元と整合させるために、変換による注意計算を再構成する。 FlashMLA-ETAPは64Kシーケンス長(バッチサイズ16)でのFlashMLAの2.78倍の高速化を実現し、それぞれFlashAttention-3とFlashInferの5.24倍と4.94倍の改善を実現している。
論文参考訳（メタデータ） (2025-05-13T17:45:34Z)
FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning [11.508362885430133]
非対称なGPUメモリ階層を利用して、メモリの大幅な節約と実行時の高速化を実現しています。 FlashAttentionはまだGEMM(Optimized matrix-multiply)操作ほど高速ではなく、理論上の最大FLOP/sの25-40%にしか達していない。これらの問題に対処するために、より優れた作業パーティショニングを備えたFlashAttention-2を提案する。
論文参考訳（メタデータ） (2023-07-17T17:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。