論文の概要: ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping
- arxiv url: http://arxiv.org/abs/2608.24411v1
- Date: Tue, 25 Aug 2026 11:25:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.945663
- Title: ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping
- Title（参考訳）: ResiSpec:Residual Distribution Shapingによるマルチカテゴリ投機サンプリングの強化
- Abstract要約: ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
- 参考スコア（独自算出の注目度）: 79.1905186547363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The efficiency of Large Language Model (LLM) serving is fundamentally limited by the sequential nature of autoregressive decoding. Speculative Decoding (SD) mitigates this by using a lightweight draft model to speculate future tokens, which are then validated by the LLM in a single parallel forward pass. To further boost efficiency, multi-candidate schemes propose diverse candidate sets to increase the likelihood of token acceptance. However, we show that these schemes are bottlenecked by Residual Drift: a phenomenon where the rejection of initial candidates causes the residual target distribution to diverge from the draft model's predictions. This shift renders subsequent candidates ineffective and forces the system into expensive resampling. To resolve this, we propose ResiSpec, a framework that strategically reforms the proposal distribution during verification to anchor the residual target mass within the draft model's high-confidence regions. By mathematically re-aligning the verification process without compromising output exactness, ResiSpec prevents candidate obsolescence and achieves up to 1.92$\times$ speedup over state-of-the-art multi-candidate methods. Code is available at https://github.com/Czzzk/Resispec.
- Abstract（参考訳）: 大規模言語モデル(LLM)の効率性は、自己回帰復号のシーケンシャルな性質によって根本的に制限される。
投機的復号法(SD)は、軽量なドラフトモデルを用いて将来のトークンを推測することでこれを緩和する。
効率をさらに高めるために、多候補方式はトークンの受け入れ可能性を高めるために多様な候補セットを提案する。
しかし,これらのスキームは,初期候補の拒絶が残留目標分布を原案の予測から逸脱させる現象であるResidual Driftによってボトルネック化されている。
このシフトは、その後の候補を非効率にし、システムを高価な再サンプリングに強制する。
これを解決するために,提案手法の信頼性の高い領域に残留目標質量を固定するために,検証中の提案分布を戦略的に再構築するフレームワークであるResiSpecを提案する。
出力精度を損なうことなく検証プロセスを数学的に調整することにより、ResiSpecは候補の偏りを防ぎ、最先端のマルチ候補法よりも最大1.92$\times$スピードアップを達成する。
コードはhttps://github.com/Czzzk/Resispec.comで入手できる。
関連論文リスト
- Selective Regenerative Decoding: Trajectory-Level Intervention for Inference-Time Reasoning [12.065412919637525]
Selective Regenerative Decodingは、各候補がサフィックスの劣化した部分だけを捨てたり、保存したり、洗練したりするためのルートである。
SRDは、リジェクションサンプリングよりも1.28から1.36倍のサンプル効率向上を実現している。
MATH500、GPQAダイアモンド、HotpotQA、AlpacaEvalを複数生成逆モデルペアで比較すると、SRDはNの精度とほぼ少ない生成トークンで一致している。
論文 参考訳（メタデータ） (2026-08-25T10:01:56Z) - The Model Knows, the Decoder Finds: Future Value Guided Particle Power Sampling [13.856943842803561]
Auxiliary Particle Power Sampling (APPS) は、列レベルのパワーターゲットを部分解の集団で近似するブロックワイズ粒子アルゴリズムである。
APPSは提案訂正された電力再重み付けを用いて仮説を並列に伝播し、将来の価値誘導選択によってその生存を洗練させる。
APPSは、トレーニング不要なデコーディングの精度と実行時のトレードオフを改善し、トレーニング後のシステムとのギャップの一部は、より忠実な推論時電力近似によって回復可能であることを示唆している。
論文 参考訳（メタデータ） (2026-05-04T10:26:34Z) - PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。
既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。
本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
論文 参考訳（メタデータ） (2026-01-08T07:38:46Z) - Efficient Adaptive Rejection Sampling for Accelerating Speculative Decoding in Large Language Models [2.4065240342323384]
本稿では, 適応型リジェクションサンプリング(EARS)について紹介する。
EARSは、ターゲットモデルの予測不確かさを1-max(P_target)として組み込むことで、受入閾値を動的に調整する。
投機的復号化の効率を大幅に向上させ、18.12%のスループット向上を実現し、GSM8Kベンチマークでは0.84%の精度低下を無視できる。
論文 参考訳（メタデータ） (2025-12-15T11:08:56Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳（メタデータ） (2025-05-24T10:26:27Z) - Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE [15.003006630308517]
投機的復号(SD)は、より小さなドラフトモデルを用いて複数のトークンを予測することで、大きな言語モデル推論を加速する。
本稿では,専門家の混在(Mixture of Experts, MoE)を利用したJakiroを提案する。
提案手法は予測精度を大幅に向上し,推論高速化を実現する。
論文 参考訳（メタデータ） (2025-02-10T09:24:06Z) - Graph-Structured Speculative Decoding [52.94367724136063]
投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。
本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。
我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
論文 参考訳（メタデータ） (2024-07-23T06:21:24Z) - Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。
これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。
本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。
対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-01-12T17:15:23Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。