論文の概要: DFlow: Enabling Verifier Information Flow in Block Diffusion Speculative Decoding
- arxiv url: http://arxiv.org/abs/2609.06498v1
- Date: Sun, 06 Sep 2026 09:25:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 05:29:04.05499
- Title: DFlow: Enabling Verifier Information Flow in Block Diffusion Speculative Decoding
- Title（参考訳）: DFlow: ブロック拡散投機復号における検証情報フローの実現
- Abstract要約: 筆者らは,ドラフトラウンドをまたいで検証情報を流すフレームワークであるDFlowを提案する。
DFlowは、削除された接尾辞のためにターゲット検証者によって生成された隠された状態を再利用し、その後の起草をガイドする。
さまざまなベンチマークを対象としたQwen3モデルの実験では、DFlowがDFlashよりもドラフト品質と受け入れ期間を一貫して改善していることが示されている。
- 参考スコア（独自算出の注目度）: 25.203742152821548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Block diffusion speculative decoding improves LLM inference efficiency by proposing a block of future tokens in parallel and verifying them with a single forward pass through the target model. However, existing methods retain only the accepted prefix and discard the rejected suffix, preventing the computation spent on these positions from benefiting subsequent drafting rounds and forcing the drafter to repeatedly reconstruct representations for future tokens from scratch. We observe that rejection only determines whether a proposed token can be committed, while the verifier representations at rejected positions can still provide useful information for subsequent predictions. Based on this observation, we propose DFlow, a simple yet effective framework that enables verifier information to flow across drafting rounds. DFlow reuses the hidden states produced by the target verifier for the rejected suffix to guide subsequent drafting without additional target computation. To effectively learn this information flow across drafting rounds, we introduce a self-condition train strategy that feeds verifier representations from earlier predictions back into subsequent predictions. Experiments on Qwen3 models across diverse benchmarks demonstrate that DFlow consistently improves draft quality and acceptance length over DFlash.
- Abstract（参考訳）: ブロック拡散投機復号法は、将来のトークンのブロックを並列に提案し、ターゲットモデルを通る単一のフォワードパスで検証することにより、LSM推論効率を向上させる。
しかし、既存の手法では、受け入れられた接頭辞のみを保持し、拒否された接尾辞を破棄し、これらの位置で費やされた計算がその後の起草ラウンドの恩恵を享受することを防ぐとともに、将来のトークンの表現をスクラッチから繰り返し再構築することを余儀なくされた。
提案したトークンがコミット可能かどうかのみを判定するのに対して,拒否された位置の検証器表現は後続の予測に有用な情報を提供することができる。
そこで本研究では, 検証情報をドラフトラウンドに流すための, シンプルで効果的なフレームワークであるDFlowを提案する。
DFlowは、削除された接尾辞に対してターゲット検証器が生成した隠された状態を再利用し、追加の目標計算なしにその後の起草を誘導する。
筆者らは,この情報フローをドラフトラウンド全体にわたって効果的に学習するために,事前の予測から検証表現を後続の予測にフィードバックするセルフコンディショニングトレイン戦略を導入する。
さまざまなベンチマークを対象としたQwen3モデルの実験では、DFlowがDFlashよりもドラフト品質と受け入れ期間を一貫して改善していることが示されている。
関連論文リスト
- Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - ReTrace: Rejected-Trajectory Conditioning for Speculative Decoding [46.17292752074153]
棄却された接尾辞における棄却された位置は、依然として目標の継続と一致している可能性があることを示す。
textbfReTraceは、拒否された軌道条件付けのメソッドで、前回のラウンドから削除された接尾辞に対して、各ドラフトブロックを条件付けする。
ReTraceは、DFlashバックボーン上で、平均受信長とエンドツーエンドの復号速度を継続的に改善する。
論文 参考訳（メタデータ） (2026-08-30T12:20:54Z) - ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-25T11:25:55Z) - DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding [26.72775347772003]
対象サンプリング分布のエントロピーが増加するにつれて,受理されたドラフト長が劣化することを示す。
本稿では,トークン位置上での低ランク遅延混合に基づいて,受入指向の学習目標を補完する依存ブロック起草手法を提案する。
論文 参考訳（メタデータ） (2026-08-05T22:49:54Z) - Accepted Prefixes Are Not All You Need: A Negative Result on PEFT-Based Block-Diffusion Drafting [0.0]
投機的復号化は、低価格のドラフトラを使って、複数の将来のトークンと、それらを検証するためのターゲットモデルを提案する。
我々は,この方向に対する負の結果を,同バックボーン投機復号法PEFT-BDを用いて検討した。
提案手法は投機的復号化を成功させるためには単純だが重要な条件を分離する。
論文 参考訳（メタデータ） (2026-07-14T06:48:33Z) - Accelerating Speculative Diffusions via Block Verification [77.23389794645801]
投機的復号化は、トークンを生成するためにドラフトモデルを使用することでLLM推論を高速化する。
既存の拡散適応は非効率的なサンプリング技術を使うか、代替のスキームに依存する。
本稿では,拡散モデルに対して,従来の投機的サンプリング機構を効率的に実装する新しい手法を提案する。
論文 参考訳（メタデータ） (2026-06-11T14:54:13Z) - Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。
本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
論文 参考訳（メタデータ） (2026-05-28T04:30:22Z) - Make Every Draft Count: Hidden State based Speculative Decoding [7.373716645300893]
廃棄されたドラフトを再利用トークンに変換する新しいシステムを提案する。
私たちの重要な洞察は、隠れた状態レベルで自動回帰予測を実行することです。
我々は、標準的な投機的復号化に対して3.3倍のスピードアップを示す。
論文 参考訳（メタデータ） (2026-02-02T08:25:21Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳（メタデータ） (2025-05-24T10:26:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。