論文の概要: Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution

• arxiv url: http://arxiv.org/abs/2610.07822v2
• Date: Sun, 11 Oct 2026 06:25:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.369348
• Title: Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution
• Title（参考訳）: Nucleus Speculative Decoding: 正確な分布を超えてプラルーシビリティを意識した検証
• Abstract要約: 提案手法は,可視性を考慮した検証ルールであるSpeculative Decoding (NSD)を導入する。 NSDは、標準テストを通過したり、ターゲット核に属する場合、ドラフトトークンを受理するが、SDの残留補正とボーナスのサンプリングは変わらない。 NSDは比較対象のメソッドの中で最も高いスループットを実現し、オートレグレッシブデコードで最大5.16タイム、標準SDで最大3.15タイムのスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 21.175751148936587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding (SD) accelerates autoregressive generation by letting a lightweight draft model propose tokens that a target model verifies in parallel. However, its standard acceptance rule, designed for exact distribution correction, rejects tokens to which the draft assigns excess probability, even when the target finds them highly plausible: over half of the rejected tokens lie inside the target's own nucleus. Since verification dominates the cost of SD, these rejections waste its most expensive operation. We introduce Nucleus Speculative Decoding (NSD), a plausibility-aware verification rule that accepts a draft token if it passes the standard test or belongs to the target nucleus, while keeping SD's residual correction and bonus sampling unchanged. NSD requires no training or extra forward passes and is compatible with any drafting mechanism. Because it preserves SD's recovery rule, its deviation from the target distribution can be characterized exactly: we prove that the single-step total variation error equals the draft's excess probability inside the target nucleus, which is precisely NSD's gain in acceptance probability. NSD thus trades fidelity for acceptance at an exact one-to-one rate, and we further derive sequence-level fidelity bounds. Across six target models and five mathematical reasoning and code generation benchmarks, NSD achieves the highest throughput among all compared methods, with speedups of up to $5.16\times$ over autoregressive decoding and $3.15\times$ over standard SD, while improving accuracy over SD on five of the six models and nearly halving verification time per output token. Our code is available at https://github.com/EIT-NLP/Nucleus-Speculative-Decoding.
• Abstract（参考訳）: 投機的復号(SD)は、軽量なドラフトモデルに、ターゲットモデルが並列に検証するトークンを提案することによって、自己回帰生成を加速する。 しかし、正確な分布補正のために設計された標準の受け入れ規則は、ターゲットが高確率で検出した場合でも、ドラフトが過剰な確率を割り当てるトークンを拒絶する。 検証がSDのコストを支配しているため、これらの拒絶は最も高価な操作を無駄にする。 我々は、SDの残差補正とボーナスサンプリングをそのまま保ちつつ、標準テストに合格したり、ターゲット核に属している場合、ドラフトトークンを受理する可否確認ルールであるNucleus Speculative Decoding(NSD)を導入する。 NSDはトレーニングや追加のフォワードパスを必要とせず、どのドラフト機構とも互換性がある。 単一ステップの総変分誤差は、ターゲット核内のドラフトの過剰確率と同等であり、正確にはSDの受容確率におけるゲインであることを示す。 したがって、NSDは、正確に1対1のレートで受け入れるために忠実さを交換し、さらにシーケンスレベルの忠実さ境界を導出する。 6つのターゲットモデルと5つの数学的推論およびコード生成ベンチマークで、NSDは比較対象のメソッドの中で最高スループットを達成し、オートレグレッシブデコーディングよりも最大5.16\times$、標準SDより3.15\times$、そして6つのモデルのうち5つのSDの精度を改善し、出力トークンあたりの検証時間を半減した。 私たちのコードはhttps://github.com/EIT-NLP/Nucleus-Speculative-Decodingで公開されています。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
  投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。 本稿では,これが新しい制御ハンドルを生成することを認識している。
  論文  参考訳（メタデータ） (2026-08-14T18:00:08Z)
• Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding [47.771248673145614]
  投機的復号化は大規模言語モデル(LLM)推論を高速化する手法として広く採用されている。 モデルに基づく投機的復号化における新しいメカニズムレベルの脆弱性を同定する。 提案するMistletoeは、投機的復号化に対するステルス的な加速・崩壊攻撃である。
  論文  参考訳（メタデータ） (2026-05-13T18:11:42Z)
• DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification [29.426184837710952]
  投機的復号化は,複数のトークンを並列に起草することで,大規模言語モデルの推論を高速化する有効な手法である。 生成品質を保ちながら時間効率を向上させる緩やかな検証フレームワークである動的検証緩和投機復号法(DIVERSED)を提案する。 本研究では,DIVERSEDが標準的な投機的復号法に比べてかなり高い推論効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-08T21:52:32Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• GRIFFIN: Effective Token Alignment for Faster Speculative Decoding [33.26750782762635]
  GRIFFINは、トークン指向のトレーニング戦略とトークン指向のドラフトモデルを組み込んだ、新しいフレームワークである。 LLaMA, Vicuna, Qwen, Mixtral モデルを用いた実験では, GRIFFIN が平均受容長 8% 以上, スピードアップ比 7% 以上を達成している。
  論文  参考訳（メタデータ） (2025-02-16T07:06:00Z)
• Block Verification Accelerates Speculative Decoding [23.764655044837113]
  投機的復号法は高速モデルを用いて、ターゲットモデルによって並列に検証されるトークンのブロックをドラフトする。 以前の作業では、ドラフト検証は独立してトークン・バイ・トークンで行われる。 ブロック全体を共同で検証する単純なドラフト検証アルゴリズムであるBlock Verificationを提案する。
  論文  参考訳（メタデータ） (2024-03-15T16:28:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。