論文の概要: DualDiffusion: A Speculative Decoding Strategy for Masked Diffusion Models
- arxiv url: http://arxiv.org/abs/2604.05250v1
- Date: Mon, 06 Apr 2026 23:23:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.528596
- Title: DualDiffusion: A Speculative Decoding Strategy for Masked Diffusion Models
- Title（参考訳）: DualDiffusion: マスク付き拡散モデルのための投機的デコード戦略
- Authors: Satyam Goyal, Kushal Patel, Tanush Mittal, Arjun Laxman,
- Abstract要約: Masked Diffusion Models (MDMs) は自動回帰言語モデルに代わる有望な選択肢を提供する。
その推論速度は、双方向の注意によるキーと値のペアのキャッシュ能力の欠如によって著しく制限される。
我々は,高速ドラフトモデルとより遅く,より正確な検証モデルを組み合わせたMDMの投機的復号化フレームワークであるDualDiffusionを提案する。
- 参考スコア（独自算出の注目度）: 0.5249805590164902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked Diffusion Models (MDMs) offer a promising alternative to autoregressive language models by enabling parallel token generation and bidirectional context modeling. However, their inference speed is significantly limited by the inability to cache key-value pairs due to bidirectional attention, requiring $O(N^2)$ computations at each generation step. While recent methods like FastDLLM and DkvCache improve inference speed through attention approximations and caching strategies, they achieve speedups at the cost of generation quality. We propose DualDiffusion, a speculative decoding framework for MDMs that combines fast drafter models (using efficient approximations) with slower, more accurate verifier models. By running multiple steps of a lightweight drafter followed by a single verification step, DualDiffusion achieves a superior Pareto frontier between generation steps and accuracy compared to existing approaches. We evaluate our method on MMLU and GSM8K, demonstrating that DualDiffusion maintains high accuracy while reducing the number of generation steps required, effectively pushing the quality-efficiency trade-off curve for masked diffusion language models.
- Abstract（参考訳）: Masked Diffusion Models (MDM)は、並列トークン生成と双方向コンテキストモデリングを可能にすることで、自動回帰言語モデルに代わる有望な代替手段を提供する。
しかし、その推論速度は、双方向の注意によってキーと値のペアをキャッシュできないため、各生成ステップで$O(N^2)$計算を必要とするため、著しく制限されている。
FastDLLMやDkvCacheといった最近の手法は、注目の近似やキャッシュ戦略を通じて推論速度を改善するが、生成品質の犠牲でスピードアップを達成している。
我々は,高速な起草モデルとより遅く,より正確な検証モデルを組み合わせたMDMの投機的復号化フレームワークであるDualDiffusionを提案する。
軽量なドラフトアの複数のステップを実行し、単一の検証ステップを実行することで、DualDiffusionは、既存のアプローチと比較して、生成ステップと精度の間に優れたParetoフロンティアを実現する。
本手法はMMLUとGSM8Kで評価し,DualDiffusionが要求される生成ステップ数を削減しつつ高い精度を維持し,マスク付き拡散言語モデルの品質-効率トレードオフ曲線を効果的に推し進めることを示した。
関連論文リスト
- CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language [21.764828393078886]
Masked Diffusion Models (MDMs) は自己回帰生成の効率的な非因果的代替手段を提供する。
拡散過程を連続的な文レベルの意味空間にシフトすることで、これらの制限に対処する。
論文 参考訳（メタデータ） (2026-03-02T12:50:55Z) - Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。
コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
論文 参考訳（メタデータ） (2025-10-20T23:38:12Z) - Esoteric Language Models [31.619674001793875]
我々は,ARとMDMのパラダイムを融合した新しいモデルのファミリーであるEso-LMを紹介する。
Eso-LMは、標準言語モデリングベンチマークに新しい状態を設定した。
我々は、並列生成を保持しながら、DMs*のKVキャッシュを導入する**です。
論文 参考訳（メタデータ） (2025-06-02T17:47:27Z) - FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。
最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。
我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
論文 参考訳（メタデータ） (2025-05-27T17:39:39Z) - Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling [48.96034602889216]
Variencoding Discrete Diffusion (VADD) は、潜在変数モデリングによる離散拡散を強化する新しいフレームワークである。
補助的認識モデルを導入することにより、VADDはトレーニングセット上の変分下界と償却推論を介して安定したトレーニングを可能にする。
2Dトイデータ、画素レベルの画像生成、テキスト生成に関する実証結果は、VADDがMDMベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2025-05-23T01:45:47Z) - One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。
拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。
提案手法は,実測値と非参照値の両方で高い性能を達成する。
論文 参考訳（メタデータ） (2025-03-09T09:39:57Z) - A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。
本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
論文 参考訳（メタデータ） (2024-05-31T21:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。