論文の概要: Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution

• arxiv url: http://arxiv.org/abs/2610.07822v1
• Date: Tue, 06 Oct 2026 06:18:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.840747
• Title: Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution
• Title（参考訳）: Nucleus Speculative Decoding: 正確な分布を超えてプラルーシビリティを意識した検証
• Abstract要約: 本稿では,目標モデルの妥当性を投機的復号化に組み込んだ緩和検証手法を提案する。 提案手法は, 自己回帰復号法で最大5.16倍, 標準投機復号法で最大3.15倍のスループット向上を実現する。
• 参考スコア（独自算出の注目度）: 21.175751148936587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding accelerates autoregressive generation by using a lightweight draft model to propose multiple tokens that are verified by a target model in parallel. However, the standard acceptance rule focuses on exact distribution correction and rejects tokens that remain highly plausible under the target model when the draft model assigns excess probability. This conservative verification limits the number of draft tokens retained after each verification forward pass. We introduce Nucleus Speculative Decoding (NSD), a relaxed verification method that incorporates target-model plausibility into speculative decoding. NSD accepts a draft token if it satisfies the standard acceptance rule or belongs to the target model's nucleus. We theoretically characterize the distributional deviation introduced by our method and show that the single-step error is exactly determined by the draft model's excess probability within the target nucleus. We further derive sequence-level fidelity bounds that quantify how local deviations accumulate over autoregressive decoding. Experiments across multiple target models and proposal mechanisms demonstrate that NSD consistently improves speculative decoding efficiency while maintaining competitive task performance. Our method achieves throughput speedups of up to $5.16\times$ over autoregressive decoding and up to $3.15\times$ over standard speculative decoding. These improvements coincide with longer accepted lengths, allowing more output tokens to share the cost of each target verification pass. Analysis shows that plausibility-aware verification provides an effective approach for relaxed verification and speculative decoding efficiency. Our code is available at https://github.com/EIT-NLP/Nucleus-Speculative-Decoding.
• Abstract（参考訳）: 投機的復号化は、軽量なドラフトモデルを用いて、ターゲットモデルによって並列に検証される複数のトークンを提案することにより、自己回帰生成を加速する。 しかし、標準受理規則は正確な分布補正に重点を置いており、ドラフトモデルが過剰な確率を割り当てたとき、ターゲットモデルの下で非常に妥当なトークンを拒否する。 この保守的な検証は、各検証の前方通過後に保持されるドラフトトークンの数を制限する。 提案するNucleus Speculative Decoding(NSD)は,ターゲットモデルの妥当性を投機的復号化に組み込んだ緩和検証手法である。 NSDは、標準の受け入れルールを満たすか、ターゲットモデルの核に属する場合、ドラフトトークンを受理する。 理論的には,本手法が導入した分布偏差を特徴付けるとともに,単一ステップ誤差がターゲット核内のドラフトモデルの過剰な確率によって正確に決定されることを示す。 さらに、自己回帰復号による局所偏差の蓄積を定量化するシーケンスレベルの忠実度境界を導出する。 複数のターゲットモデルと提案機構をまたいだ実験により、NSDは競争力のあるタスク性能を維持しながら投機的復号効率を一貫して改善することを示した。 提案手法は, 自己回帰復号法で最大5.16\times$, 標準投機復号法で最大3.15\times$のスループット向上を実現する。 これらの改善は、より長い許容長と一致し、より多くの出力トークンが各目標検証パスのコストを共有することができる。 解析により, 可視性を考慮した検証は, 緩和された検証と投機的復号化効率に有効なアプローチを提供することが示された。 私たちのコードはhttps://github.com/EIT-NLP/Nucleus-Speculative-Decodingで公開されています。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
  投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。 本稿では,これが新しい制御ハンドルを生成することを認識している。
  論文  参考訳（メタデータ） (2026-08-14T18:00:08Z)
• Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding [47.771248673145614]
  投機的復号化は大規模言語モデル(LLM)推論を高速化する手法として広く採用されている。 モデルに基づく投機的復号化における新しいメカニズムレベルの脆弱性を同定する。 提案するMistletoeは、投機的復号化に対するステルス的な加速・崩壊攻撃である。
  論文  参考訳（メタデータ） (2026-05-13T18:11:42Z)
• DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification [29.426184837710952]
  投機的復号化は,複数のトークンを並列に起草することで,大規模言語モデルの推論を高速化する有効な手法である。 生成品質を保ちながら時間効率を向上させる緩やかな検証フレームワークである動的検証緩和投機復号法(DIVERSED)を提案する。 本研究では,DIVERSEDが標準的な投機的復号法に比べてかなり高い推論効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-08T21:52:32Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• GRIFFIN: Effective Token Alignment for Faster Speculative Decoding [33.26750782762635]
  GRIFFINは、トークン指向のトレーニング戦略とトークン指向のドラフトモデルを組み込んだ、新しいフレームワークである。 LLaMA, Vicuna, Qwen, Mixtral モデルを用いた実験では, GRIFFIN が平均受容長 8% 以上, スピードアップ比 7% 以上を達成している。
  論文  参考訳（メタデータ） (2025-02-16T07:06:00Z)
• Block Verification Accelerates Speculative Decoding [23.764655044837113]
  投機的復号法は高速モデルを用いて、ターゲットモデルによって並列に検証されるトークンのブロックをドラフトする。 以前の作業では、ドラフト検証は独立してトークン・バイ・トークンで行われる。 ブロック全体を共同で検証する単純なドラフト検証アルゴリズムであるBlock Verificationを提案する。
  論文  参考訳（メタデータ） (2024-03-15T16:28:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。