論文の概要: ValuSpec: Plug-and-Play Candidate Valuation before Target Verification for Tree-Based Speculative Decoding
- arxiv url: http://arxiv.org/abs/2610.31338v1
- Date: Thu, 22 Oct 2026 14:23:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.406785
- Title: ValuSpec: Plug-and-Play Candidate Valuation before Target Verification for Tree-Based Speculative Decoding
- Title（参考訳）: ValuSpec: ツリーベースの投機的デコードのためのターゲット検証前のプラグアンドプレイ候補評価
- Abstract要約: 木に基づく投機的復号化は、複数の候補分岐を並列に検証することによって、大きな言語モデル推論を加速する。
本稿では,高額な目標側検証を行う前に,供給された候補木から低品質の分岐をフィルタリングする,プラグアンドプレイの候補評価機構であるValuSpecを提案する。
主要な評価では、ValuSpecは検索ベースのツリー設定で最大2.38倍のエンドツーエンドのスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 10.543344956133708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tree-based speculative decoding accelerates large language model inference by verifying multiple candidate branches in parallel. However, in practical serving scenarios, similar requests repeatedly induce overlapping candidate branches. While retrieval-based methods mitigate this by reusing historical drafts, the resulting candidate trees often contain many low-quality branches as the candidate tree grows, which reduces verification efficiency and wastes target-side computation. To address this, we propose ValuSpec, a plug-and-play candidate valuation mechanism that filters low-quality branches from a supplied candidate tree before expensive target-side verification. ValuSpec introduces transfer-based supervision to align filtering with the target model's behavior. A filtering threshold is estimated from the target model's greedy trajectories on a calibration split, without any parameter training. The target model then verifies the filtered tree under the output-identical greedy rule, so accepted tokens are guaranteed to match standard autoregressive decoding exactly. Experimental results on HumanEval, GSM8K, Dolly, and SpecBench show that, in our main evaluation, ValuSpec achieves up to 2.38x end-to-end speedup in retrieval-based tree settings. Furthermore, integrating ValuSpec into the EAGLE-3 dynamic tree framework yields up to 2.78x end-to-end speedup without modifying its tree construction strategy, demonstrating that ValuSpec serves as a generally applicable and plug-and-play candidate valuation module.
- Abstract（参考訳）: 木に基づく投機的復号化は、複数の候補分岐を並列に検証することによって、大きな言語モデル推論を加速する。
しかし、実際の運用シナリオでは、同様の要求が繰り返し重複する候補ブランチを誘導する。
検索に基づく手法は、過去の草稿を再利用することによってこれを緩和するが、結果として得られる候補木は、候補木が成長するにつれて、多くの低品質の枝を含むことが多く、検証効率が低下し、目標側の計算が無駄になる。
そこで我々は,高額な目標側検証を行う前に,供給された候補木から低品質の分岐をフィルタリングする,プラグイン・アンド・プレイの候補評価機構であるValuSpecを提案する。
ValuSpecは、ターゲットモデルの振る舞いにフィルタリングを合わせるために、転送ベースの監視を導入している。
パラメータトレーニングを行わずに、キャリブレーションスプリット上のターゲットモデルの欲求軌道からフィルタリング閾値を推定する。
ターゲットモデルは出力単位の欲求規則の下でフィルタ木を検証し、受け入れられたトークンは標準の自己回帰復号と正確に一致することが保証される。
HumanEval, GSM8K, Dolly, SpecBenchの実験結果から,ValuSpecは検索ベースツリー設定で最大2.38倍の高速化を実現していることがわかった。
さらに、ValuSpecをERGLE-3動的ツリーフレームワークに統合すると、ツリー構築戦略を変更することなく、最大2.78倍のエンドツーエンドのスピードアップが得られる。
関連論文リスト
- Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding [15.040000425985324]
ツリーベースの投機的復号化は、複数のドラフト候補を並列に検証することで自己回帰生成を加速するが、この利点はスパース・ミックス・オブ・エクササイズ(MoE)モデルでは弱まる。
我々は,MoE投機的復号化のためのトレーニング不要,ハイパーパラメータフリー,ロスレス適応検証手法EVICTを提案する。
EVICTは、目標検証の前にドラフトツリーを切断し、コスト効率の良いプレフィックスのみを保持することで、検証済みのトークンを全てカウントする。
論文 参考訳（メタデータ） (2026-05-01T01:52:01Z) - Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。
そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。
DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2026-04-22T12:42:03Z) - TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。
エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
論文 参考訳（メタデータ） (2026-01-11T14:07:30Z) - Bridging Draft Policy Misalignment: Group Tree Optimization for Speculative Decoding [24.681973968208364]
グループツリー最適化(GTO)を導入し、デコード時ツリーポリシーとトレーニングを整合させる。
ドラフトツリーリワードの増加は、受け入れ長とスピードアップを確実に改善することを示す。
GTOは、効率的な大規模言語モデル推論のための実用的で一般的なソリューションを提供する。
論文 参考訳（メタデータ） (2025-09-26T09:55:35Z) - TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。
TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
論文 参考訳（メタデータ） (2025-08-24T16:52:37Z) - Traversal Verification for Speculative Tree Decoding [15.720388162422978]
投機的復号化は、大きな言語モデルを加速するための有望なアプローチである。
本稿では,新しい投機的復号化アルゴリズムであるトラバーサル検証を紹介する。
提案手法は,既存手法よりも受け入れ長とスループットを継続的に向上することを示す。
論文 参考訳（メタデータ） (2025-05-18T12:51:55Z) - C2T: A Classifier-Based Tree Construction Method in Speculative Decoding [9.663330370149428]
投機的復号法は、しばしばトークンツリーの構築や候補トークンの検証において非効率に直面する。
トークンツリーを動的に生成・生成するための軽量な分類器C2Tを提案する。
論文 参考訳（メタデータ） (2025-02-19T11:57:02Z) - Complex Event Forecasting with Prediction Suffix Trees: Extended
Technical Report [70.7321040534471]
複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。
このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。
複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-01T09:52:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。