論文の概要: Ceiling-Clipped Acceptance Histograms Indicate Stranded Speed-up in Block-Diffusion Speculative Decoding
- arxiv url: http://arxiv.org/abs/2608.30427v1
- Date: Mon, 31 Aug 2026 08:23:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.312538
- Title: Ceiling-Clipped Acceptance Histograms Indicate Stranded Speed-up in Block-Diffusion Speculative Decoding
- Title（参考訳）: ブロック拡散投機復号におけるストランドスピードアップを示すシーリングクラップ型受容ヒストグラム
- Abstract要約: 投機的復号化は効率的なドラフトモデルによる生成を高速化する(後述)
DFlashやDFlareのような高速なブロック拡散ドラフトラは、ブロック全体を1つの並列パスで埋める。
我々は、新しく公開された位置を強調する短いカリキュラムで、より長いブロックでドラフト作成者の訓練を後押しする。
- 参考スコア（独自算出の注目度）: 0.008640713300591884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speculative decoding speeds up generation with an efficient draft model (drafter) that proposes tokens for a target model to verify in one pass, preserving the target's output distribution. High-acceptance block-diffusion drafters such as DFlash and DFlare fill an entire block in one parallel pass. In many cycles, the target accepts the whole block, so the drafter exhausts its trained block horizon before verification fails. We call this unrealized acceptance stranded speed-up. A mean committed length, per prompt or per cycle, hides it, whereas the acceptance histogram exposes it as a spike in the ceiling bin, the fraction of cycles that accept the entire block. We recommend the histogram as a preflight check before spending training compute. Naively widening the block at inference does not recover the speed-up, because once the block outgrows its training size, the drafter's bidirectional attention shifts its distribution even at early positions and erodes front-of-block verification. Instead, we post-train the drafter on a longer block with a short curriculum that emphasizes the newly exposed positions, a method we call DBloom. Expanding the pretrained DFlash and DFlare drafters from block size 16 to 24 across Qwen3-8B and Qwen3-4B targets raises the per-prompt committed length on the high-ceiling benchmarks by a median of +0.8 tokens (up to +1.1). Once continuation fine-tuning precedes expansion, the increase reaches 1.37 tokens. The same expansion also lifts committed length on all seven benchmarks for Gemma-4-12B-IT, a different model family, by a median of +0.41 tokens (Arm A), and the full continuation-then-expand pipeline (Arm B) adds +0.29 to +0.98 tokens over the same B16 drafter. In a prompt-matched comparison against JetSpec, a contemporary tree-based drafter not used in our design, DBloom commits more tokens on every benchmark at tree budgets up to 64 nodes.
- Abstract（参考訳）: 投機的復号化は、目標モデルのトークンを1パスで検証し、目標の出力分布を保存する効率的なドラフトモデル(ドロース)で生成を高速化する。
DFlashやDFlareのような高速なブロック拡散ドラフトラは、ブロック全体を1つの並列パスで埋める。
多くのサイクルにおいて、ターゲットはブロック全体を受け入れるので、ドラフトアは検証が失敗する前に、訓練されたブロックの水平線を消耗する。
私たちはこれを非現実的な受け入れスタントスピードアップと呼んでいる。
平均コミット長さ(プロンプトまたはサイクル毎)はそれを隠蔽する一方、受け入れヒストグラムは、ブロック全体を受け入れるサイクルの割合である天井ビンのスパイクとしてそれを露呈する。
トレーニング計算に費やす前に、事前チェックとしてヒストグラムを推奨する。
なぜなら、ブロックがトレーニングサイズを上回ると、ドラフトの双方向の注意は初期位置でも分布をシフトし、フロント・オブ・ブロックの検証を損なうからである。
代わりに、新しく公開された位置を強調する短いカリキュラムで、より長いブロックでドラフトをトレーニングします。
Qwen3-8B と Qwen3-4B を対象とするブロックサイズ 16 から 24 までの事前訓練された DFlash と DFlare のドラフトを拡大すると、ハイシーリングベンチマークのコミット長は +0.8 トークン (+1.1 まで) で増加する。
継続の微調整が拡張に先立つと、増加は1.37トークンに達する。
同じ拡張は、異なるモデルファミリであるGemma-4-12B-ITの7つのベンチマークのコミット長を、+0.41トークン(Arm A)で引き上げ、完全な継続処理パイプライン(Arm B)は+0.29トークンをB16ドラフトに+0.98トークンを追加する。
私たちの設計では使われていない同時代のツリーベースのドラフトラであるJetSpecに対して、DBloomは、最大64ノードまでのツリー予算で、すべてのベンチマークにトークンをコミットします。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。
Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
論文 参考訳（メタデータ） (2026-08-13T17:43:44Z) - From Chains to Trees: Parent-Conditioned Drafting for Semi-Autoregressive Speculative Decoding [14.328430707715114]
投機的復号化LLMは、提案された継続がターゲットモデル検証を継続した場合のみ、推論を加速する。
親条件分岐は、半自己回帰型ドラフトラにおいて既に存在する条件付きキャパシティをエンドツーエンドの推論ゲインに変換することができることを示す。
論文 参考訳（メタデータ） (2026-08-03T12:15:26Z) - Spec-AUF: Accept-Until-Fail Training under Train-Inference Misalignment for Masked Block Drafters [3.9513930662588863]
ブロック(DLMスタイル)のドラフトラは、全ブロックを並列に予測し、高速だがフルブロックのクロスエントロピーでトレーニングする。
最近の受け入れ認識の目的は、全ブロック損失を再重み付けすることで、この問題に対処する。
AUFは、ドラフト作成者が最初に予測した失敗を通してのみ、クロスエントロピーのサポートを維持することで、損失側のプレフィックスセンシティブな監視を近似する。
論文 参考訳（メタデータ） (2026-07-02T08:44:04Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding [32.75269650141292]
投機的復号化のためのワンショットブロックのドラフトは、1つのフォワードパスで完全なドラフトを生成する。
それぞれのドラフトトークンはプレフィックスコンテキストのみに条件付けされ、以前のドラフトトークンに依存しない。
この非自己回帰条件は、ドラフトの深さが大きくなるにつれて、検証者の真の自己回帰分布からドラフトの分布が分岐する。
そこで我々は,この問題に対処するために,プロダクタの隠蔽状態とそれ以前のトークンに条件付きレイヤを組み込んで,自己回帰分布を近似するTreeFlashを提案する。
論文 参考訳（メタデータ） (2026-06-02T16:00:18Z) - D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting [59.204113363599994]
投機的復号化は、小さなドラフト作成者がより大きなターゲットモデルが並列に検証するトークンを提案することによって推論を加速する。
最近の拡散ベースの並列ドラフトア(DFlashなど)は、1つの前方パスで完全なB-tokenブロックを予測し、より深いドラフトアとより長い許容ブロックを可能にする。
各位置の重みと、その対数確率の寄与とを一致させて、期待されるドラフト長の相違可能なサロゲートから、位置毎のトレーニングウェイトを導出する。
6つのベンチマークと2つのQwen3-4Bドラフト深度、2つの復号温度、2つの追加ターゲットモデル、D-PACEは一貫してウォールクロックのスピードアップと平均の両方を改善している。
論文 参考訳（メタデータ） (2026-05-12T06:27:57Z) - SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting [25.273024580844346]
SpecBlockはブロックイテレーティブなドラフトアで、パス依存と安価なドラフトを組み合わせています。
デプロイ時のコストを意識した盗聴は、無償の検証者フィードバックを使用して、ドラフトを選択的に更新する。
論文 参考訳（メタデータ） (2026-05-08T04:59:48Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
離散拡散言語モデルは、テキスト生成に強い可能性を示している。
半自己回帰推論による微調整ミスアライメントの標準化
我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
論文 参考訳（メタデータ） (2025-08-27T02:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。