論文の概要: From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding
- arxiv url: http://arxiv.org/abs/2608.14787v1
- Date: Fri, 14 Aug 2026 18:00:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.081213
- Title: From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding
- Title（参考訳）: 位置的信頼からプレフィックススケジューリングへ:投機的復号における検証スキャッピング
- Abstract要約: 投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。
本稿では,これが新しい制御ハンドルを生成することを認識している。
- 参考スコア（独自算出の注目度）: 41.41611499810411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speculative decoding is a leading technique to reduce the cost of autoregressive generation by using a small drafter to propose several tokens, which are then verified in parallel by a larger target model. Speculative diffusion decoding (SDD) further removes sequential drafting by generating every position in a draft block in parallel with a discrete diffusion model. However, SDD still invokes the target on every block, leaving verification as a potential bottleneck. This paper recognizes that this creates a new control handle: whether to invoke the verifier at all. Thus, we study verifier skipping, a lossy policy that commits a selected draft prefix directly, and ask which confidence signal should schedule it. Interestingly, our study finds that better token predictors need not yield better schedulers: skips require contiguous high-confidence prefixes, while short skips can induce additional drafting rounds. To study this mismatch, we compare raw confidence with learned marginal and conditional survival scores under the same policy, using Strict SDD, lenience, and top-$k$ acceptance as baselines. On HumanEval with DiffuCoder-7B-Instruct and Qwen3-32B, all three confidence signals save $9.6\%$ to $13.5\%$ of verifier calls at the same observed pass@1 as Strict SDD. Surprisingly, raw confidence saves the most; marginal survival has higher positionwise AUROC than raw confidence at most positions, yet neither learned signal dominates online. Our analysis shows that verifier skipping is a useful new lossy axis and, surprisingly, its key challenge is prefix scheduling rather than token prediction alone.
- Abstract（参考訳）: 投機的復号化は、小さなドラフトラを使っていくつかのトークンを提案し、より大きなターゲットモデルによって並列に検証することで、自己回帰生成のコストを低減させる主要な手法である。
投機拡散復号(SDD)は、離散拡散モデルと並行して、ドラフトブロック内のすべての位置を生成することで、逐次起草を除去する。
しかしながら、SDDは依然として各ブロックのターゲットを起動し、検証は潜在的なボトルネックとして残る。
本稿では,これが新しい制御ハンドルを生成することを認識している。
そこで我々は,選択したドラフトプレフィックスを直接コミットする損失ポリシーである検証器スキップについて検討し,どの信頼性信号がスケジュールされるべきかを問う。
興味深いことに、我々の研究は、より良いトークン予測器はより良いスケジューラを得る必要がないことに気付きました。
このミスマッチを研究するために,Strict SDD, Lenience, top-$k$をベースラインとして,学習限界と条件の生存スコアを比較した。
DiffuCoder-7B-InstructとQwen3-32Bを使ったHumanEvalでは、3つの信頼信号はすべて、Strict SDDと同じパス@1で、9.6\%から13.5\%の検証呼び出しを保存している。
限界生存率は、ほとんどのポジションにおいて、生の信頼よりもAUROCの方が高い位置にあるが、学習信号がオンラインを支配していない。
解析の結果, 検証器のスキップは新たな損失軸であり, 意外なことに, トークン予測のみでなくプレフィックススケジューリングが重要な課題であることがわかった。
関連論文リスト
- $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。
既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。
提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
論文 参考訳（メタデータ） (2026-08-20T17:58:50Z) - DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding [26.72775347772003]
対象サンプリング分布のエントロピーが増加するにつれて,受理されたドラフト長が劣化することを示す。
本稿では,トークン位置上での低ランク遅延混合に基づいて,受入指向の学習目標を補完する依存ブロック起草手法を提案する。
論文 参考訳（メタデータ） (2026-08-05T22:49:54Z) - CASP: Learning-Augmented Offline Approximation with Verifiable Certificates and Bounded-Loss PAC Guarantees [1.7545090618311434]
マシンが学習した予測は、オフラインNPハード最適化を高速化するが、予測者にその問題を解決するために何をすべきかを尋ねる。
CASP (Certificate-Augmented Solution Pruning) は代わりに、どの部分の検索空間を無視するかを尋ね、サウンドタイム検証器がチェックした後のみ、各回答を受け入れる。
トレーニングされた予測器では、未検証プルーニングは配布シフト時の最適値の最大26%を失うが、検証された同じ予測のデプロイでは、何も失われることはない。
論文 参考訳（メタデータ） (2026-07-16T04:02:15Z) - LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection [35.2079721755684]
LEAP(Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding)を紹介する。
LEAPは、将来のコンテキストフィルタリングとマルチシーケンス重ね合わせを利用して早期収束トークンを検出する、トレーニングフリーのプラグアンドプレイ方式である。
GSM8Kデータセットでは、LEAPとdParallelを組み合わせることで、モデル精度を維持しながら、ステップ毎に7.2トークンにデコードが高速化される。
論文 参考訳（メタデータ） (2026-05-09T03:26:23Z) - Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning [58.331709210563616]
サブトラクションによる思考は、信頼主導のコントラスト的デコーディングアプローチである。
低信頼トークンの小さなサブセットは、誤りの推論と不要な出力拡大に不当に寄与する。
信頼駆動型コントラストデコーディング(Confidence-Driven Contrastive Decoding)は,デコーディング中の低信頼トークンを検出し,それらの位置で介入する。
論文 参考訳（メタデータ） (2026-02-20T14:13:22Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳（メタデータ） (2025-10-07T14:46:12Z) - Cautious Next Token Prediction [62.74127603725369]
我々は、CNTP(Cautious Next Token Prediction)と呼ばれる新しいトレーニングフリーデコード戦略を提案する。
復号過程において、モデルが特定のステップで比較的高い予測エントロピーを持つ場合、独立にステップから始まる複数の試行をサンプリングし、句読点に遭遇する際に停止する。
提案するCNTPアプローチは,既存の標準復号方式よりも明確なマージンで一貫した性能を発揮することを示す。
論文 参考訳（メタデータ） (2025-07-03T05:49:18Z) - One Sample is Enough to Make Conformal Prediction Robust [53.78604391939934]
共形予測は, 1つのランダムな摂動入力に対して前方通過しても, ある程度の堅牢性が得られることを示す。
提案手法は,入力毎に多数のパス(例えば100回程度)を使用するSOTA法と比較して,平均セットサイズが小さいロバストな集合を返す。
論文 参考訳（メタデータ） (2025-06-19T19:14:25Z) - Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。
我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文 参考訳（メタデータ） (2025-03-07T08:41:53Z) - Knowing what you know: valid and validated confidence sets in multiclass
and multilabel prediction [0.8594140167290097]
マルチクラスおよびマルチラベル問題において、有効な信頼セットを構築するための共形予測手法を開発する。
量子レグレッションのアイデアを活用することで、常に正しいカバレッジを保証すると同時に、マルチクラスとマルチラベルの予測問題に対して条件付きカバレッジを提供する手法を構築する。
論文 参考訳（メタデータ） (2020-04-21T17:45:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。