論文の概要: Accelerating Speculative Diffusions via Block Verification

• arxiv url: http://arxiv.org/abs/2606.13426v1
• Date: Thu, 11 Jun 2026 14:54:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.860317
• Title: Accelerating Speculative Diffusions via Block Verification
• Title（参考訳）: ブロック検証による投機拡散の加速
• Authors: Alexander Soen, Hisham Husain, Valentin De Bortoli, Arnaud Doucet,
• Abstract要約: 投機的復号化は、トークンを生成するためにドラフトモデルを使用することでLLM推論を高速化する。 既存の拡散適応は非効率的なサンプリング技術を使うか、代替のスキームに依存する。 本稿では,拡散モデルに対して,従来の投機的サンプリング機構を効率的に実装する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 77.23389794645801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding speeds up LLM inference by using a draft model to generate tokens, with an acceptance-rejection scheme that ensures that the output matches the target distribution. Adapting this to continuous diffusions is difficult because speculative sampling requires drawing from a residual distribution. While straightforward in discrete spaces, efficiently sampling this residual in continuous space is non-trivial. Consequently, existing diffusion adaptations either use computationally inefficient sampling techniques or rely on an alternative scheme. In this work, we introduce a novel scheme that efficiently implements the original speculative sampling mechanism for diffusion models. Our approach offers a critical advantage over current methods: it enables us to adapt block verification from LLMs to diffusions -- which provably improves the acceptance rate of drafts. Furthermore, we formalize and analyze the Free Drafter, a heuristic self-speculative drafter for diffusions that requires no training. By enabling block verification, our Free Drafter yields up to a 6.3% speedup over existing speculative methods with no additional training and negligible overhead beyond the existing parallel verification pass.
• Abstract（参考訳）: 投機的復号化は、ドラフトモデルを用いてトークンを生成することでLCM推論を高速化する。 これを連続拡散に適応させることは、投機的サンプリングは残留分布から引き出す必要があるため困難である。 離散空間では単純であるが、連続空間においてこの残余を効率的にサンプリングすることは自明ではない。 その結果、既存の拡散適応は計算的に非効率なサンプリング技術を使うか、代替のスキームに依存している。 本研究では,拡散モデルに対する元の投機的サンプリング機構を効率的に実装する新しい手法を提案する。 LLMから拡散へのブロック検証を適応できるので、ドラフトの受け入れ率を確実に向上できます。 さらに,学習を必要としない拡散のためのヒューリスティックな自己投機であるFree Drafterを定式化し,解析する。 ブロック検証を有効にすることで、我々のFree Drafterは既存の投機的手法よりも最大6.3%のスピードアップを達成でき、追加のトレーニングや既存の並列検証パス以上のオーバーヘッドは無視できる。

関連論文リスト

• Inference-Time Attribute Distribution Alignment for Unconditional Diffusion [54.28942858023809]
  我々は、事前訓練された非条件拡散モデルに対する推論時属性分布アライメント問題を定式化する。 そこで本研究では,逆拡散過程に対する最適制御問題として,推定時属性分布アライメントを適用した。 最適制御に基づくアルゴリズムを用いて分散マッチングの最適化を行う。
  論文  参考訳（メタデータ） (2026-05-08T09:02:47Z)
• Training-Free Adaptation of Diffusion Models via Doob's $h$-Transform [37.05492050174751]
  DOIT(Doob-Oriented Inference-time Transformation)は、トレーニング不要で計算効率のよい適応法である。 我々は,この輸送を実現するためにDoobの$h$-transformを利用し,拡散サンプリングプロセスに対する動的補正を誘導する。 本手法はサンプリング効率を保ちながら常に最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-02-18T05:44:19Z)
• Learnable Chernoff Baselines for Inference-Time Alignment [64.81256817158851]
  本稿では,指数関数的に傾いたカーネルから効率よく,およそサンプリングする方法として,Learnerable Chernoff Baselinesを紹介した。 理想的なモデルに対する全変量保証を確立し、LCBサンプリングが理想的拒絶サンプリングと密接に一致するような連続的および離散的な拡散設定を実証する。
  論文  参考訳（メタデータ） (2026-02-08T00:09:40Z)
• Causal Autoregressive Diffusion Language Model [70.7353007255797]
  CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。 我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-29T17:38:29Z)
• Test-Time Anchoring for Discrete Diffusion Posterior Sampling [38.507644561076894]
  後方サンプリングは、事前訓練された離散拡散基礎モデルにとって難しい問題である。 マスク拡散基礎モデルのためのAnchored Posterior Smpling (APS) を提案する。 本手法は線形および非線形逆問題に対する離散拡散サンプリング器の最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-10-02T17:58:37Z)
• Enhanced Importance Sampling through Latent Space Exploration in Normalizing Flows [69.8873421870522]
  重要サンプリングはモンテカルロシミュレーションで使われる稀な事象シミュレーション手法である。 正規化フローの潜在空間における提案分布を更新し,より効率的なサンプリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-06T21:18:02Z)
• Constrained Diffusion with Trust Sampling [11.354281911272864]
  我々は、最適化の観点から、トレーニングなし損失誘導拡散を再考する。 トラストサンプリングは、無条件拡散モデルに従って効果的にバランスをとり、損失誘導に固執する。 複雑なタスクや画像の領域や3Dモーション生成の領域で広範囲にわたる実験により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-11-17T01:34:57Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。