論文の概要: VIA-SD: Verification via Intra-Model Routing for Speculative Decoding
- arxiv url: http://arxiv.org/abs/2606.12243v1
- Date: Wed, 10 Jun 2026 15:45:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.540865
- Title: VIA-SD: Verification via Intra-Model Routing for Speculative Decoding
- Title（参考訳）: VIA-SD:推測復号のためのモデル内ルーティングによる検証
- Authors: Yuchen Xian, Yang He, Yunqiu Xu, Yi Yang,
- Abstract要約: 投機的復号法(SD)は、LLMの高推論コストに対処し、軽量なドラフト作成者が大きな検証器の候補を生成して並列に検証する。
完全検証器から派生したスリムなサブモデルにより, 完全検証器ではなく, モデル内ルーティングにより, 多数の拒否されたトークンを正しく検証できることが判明した。
ルーティングスリム検証を用いた多層フレームワークVIA-SD(Intra-Model Routing for Speculative Decoding)を提案する。
- 参考スコア（独自算出の注目度）: 16.593435991566828
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding (SD) addresses the high inference costs of LLMs by having lightweight drafters generate candidates for large verifiers to validate in parallel. Existing draft-verify methods use binary decisions: accept or fully recompute. Yet we find that many rejected tokens can be verified correctly by a slim submodel derived from the full verifier via intra-model routing, instead of the full verifier. This motivates our slim-verifier to handle tokens requiring moderate verification resources, reducing expensive large-model calls. We propose Verification via Intra-Model Routing for Speculative Decoding (VIA-SD), a multi-tier framework using a routed slim-verifier. Draft tokens are processed hierarchically: direct acceptance for high-confidence cases, slim-verifier regeneration for medium-confidence cases, and full-model verification for uncertain cases. Across four representative tasks and multiple model families, VIA-SD reduces rejection rates by 0.10-0.22 and delivers 10-20% speedups over strong SD baselines, while achieving 2.5-3x acceleration over non-drafting decoding. Moreover, VIA-SD is compatible with existing SD frameworks without modifying their training procedures. Our results suggest multi-tier SD as a general paradigm for scalable and efficient LLM inference. Project page: https://zju-xyc.github.io/VIA-SD-Project-Page/
- Abstract（参考訳）: 投機的復号法(SD)は、LLMの高推論コストに対処し、軽量なドラフト作成者が大きな検証器の候補を生成して並列に検証する。
既存のドラフト検証メソッドはバイナリ決定を使用する。
しかし, 完全検証器から派生したスリムなサブモデルにより, 完全検証器ではなく, モデル内ルーティングにより, 多数の拒否されたトークンを正しく検証できることが判明した。
これにより、スリム検証器が適度な検証リソースを必要とするトークンを処理し、高価な大型モデルコールを削減できます。
ルーティングスリム検証を用いた多層フレームワークVIA-SD(Intra-Model Routing for Speculative Decoding)を提案する。
ドラフトトークンは階層的に処理される: 高信頼ケースの直接受け入れ、中信頼ケースのスリム検証再生、不確実ケースのフルモデル検証。
4つの代表的タスクと複数のモデルファミリで、VIA-SDは拒絶率を0.10-0.22削減し、強いSDベースライン上で10-20%のスピードアップを実現し、非描画デコードで2.5-3倍の高速化を実現している。
さらに、VIA-SDはトレーニング手順を変更することなく既存のSDフレームワークと互換性がある。
以上の結果から,多層SDはスケーラブルかつ効率的なLLM推論のパラダイムとして提案されている。
プロジェクトページ:https://zju-xyc.github.io/VIA-SD-Project-Page/
関連論文リスト
- Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge [93.37920675145553]
拡散言語モデル (DLMs) は並列デコーディングによる大幅な速度優位性を提供する。
トークン依存関係の欠如は、自動回帰(AR)モデルと比較して生成品質を制限します。
最近の進歩は、DLMが提案、ARが目標として、重要サンプリングによってギャップを埋めようとしている。
本稿では,生成速度と精度を大幅に向上させる新しいデコードフレームワークPoE-Bridgeを紹介する。
論文 参考訳（メタデータ） (2026-06-06T08:21:06Z) - Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference [27.59556627479635]
Calibrated Speculative Decodingは、標準検証によって破棄された有効なトークンを復元する。
Online Correction Memory は歴史的拒絶を集約し、繰り返し発散パターンを救助候補者として提案する。
Semantic Consistency Gatingは、正確なトークンマッチングの代わりに確率比を用いて候補許容性を検証する。
論文 参考訳（メタデータ） (2026-04-15T09:01:54Z) - Verifiable Reasoning for LLM-based Generative Recommendation [106.7765000777685]
大規模言語モデル(LLM)における推論は、最近、生成的レコメンデーションの強化に強い可能性を示している。
本稿では,信頼性の高いフィードバックを提供するために,検証と推論をインターリーブする新しいTextbftextitreason-verify-recommendパラダイムを提案する。
4つの実世界のデータセットの実験は、VRecが効率を損なうことなく、推奨の有効性とスケーラビリティを大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-03-08T16:55:45Z) - TABED: Test-Time Adaptive Ensemble Drafting for Robust Speculative Decoding in LVLMs [14.030784220154151]
本研究では,大規模視覚言語モデルに対するTABED(Test-time Adaptive Batched Ensemble Drafting)を提案する。
TABEDは、SD設定で利用可能な過去の真実からの逸脱を利用して、バッチ推論によって得られた複数のドラフトをアンサンブルする。
自動回帰復号法よりも1.74倍のロバストなウォールタイム・スピードアップを実現し、単一起草法よりも5%改善した。
論文 参考訳（メタデータ） (2026-01-28T08:16:57Z) - Speculative Verification: Exploiting Information Gain to Refine Speculative Decoding [8.36763119650407]
投機的検証は投機精度を動的に予測し、検証長を適用してスループットを最大化する。
SD性能を最大2$times$まで改善し、大容量設定では平均1.4$times$になる。
論文 参考訳（メタデータ） (2025-09-29T06:25:54Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference [14.527697328189362]
本稿では,新しいクエリ・アンド・コレクト・パラダイムを用いたCARDという投機的復号化フレームワークを提案する。
提案手法は,提案手法を検証から切り離し,詳細な調整を伴わずに効果的にドラフトモデルの効率を向上する。
CARDは既存の最先端の手法よりも優れており、バニラ自己回帰復号よりも最大4.83倍の高速化を実現している。
論文 参考訳（メタデータ） (2025-08-06T14:02:10Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - Consultant Decoding: Yet Another Synergistic Mechanism [49.996656694586164]
コンサルタント・デコーディング(CD)は、大きな言語モデルでのみ計算されるトークンレベルの確率を用いて、候補のドラフトを検証する。
CDは、目標モデルと比較して2.5倍の推論速度向上を実現し、同等の生成品質を維持している。
論文 参考訳（メタデータ） (2025-06-03T03:13:27Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳（メタデータ） (2025-05-24T10:26:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。