論文の概要: Adapting Tree-Structured Speculative Decoding to DeepSeek-V4 for Efficient Inference
- arxiv url: http://arxiv.org/abs/2609.24698v1
- Date: Mon, 21 Sep 2026 14:47:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.348019
- Title: Adapting Tree-Structured Speculative Decoding to DeepSeek-V4 for Efficient Inference
- Title（参考訳）: 効率的な推論のための木構造的投機的デコーディングをDeepSeek-V4に適用する
- Abstract要約: DeepSeek-V4に木構造的な推測を適用するのは簡単ではない。
DeepSeek-V4-Flashパイプラインに木構造的投機的デコーディングをブランチ認識因果検証を通じて統合する。
同じ予算下で複数の候補パスを保持することで、DeepSeek-V4復号効率を効果的に向上できることを示す。
- 参考スコア（独自算出の注目度）: 0.21485350418225244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Repeated execution of the target model during autoregressive decoding is a major source of LLM inference latency. Unlike linear speculation, which follows a single candidate chain, tree-structured speculation retains multiple branches from shared prefixes; under the same budget, this broader coverage can improve acceptance and efficiency. Adapting it to DeepSeek-V4 is nontrivial: its CSA/HCA online compressed attention concentrates the difficulty on the target-verify side, where branches diverging from a shared prefix compress into different states, breaking cross-branch state consistency. We integrate tree-structured speculative decoding into the DeepSeek-V4-Flash pipeline via branch-aware causal verification, temporary state isolation, and accepted-path state refresh, keeping verification and compressed-state updates consistent across branches. Across budgets D=5 to D=8, batch sizes 1 to 64, and three datasets (GSM8K, MBPP, ShareGPT), tree speculation achieves a higher accepted length than the matched linear configurations in all settings (e.g., at D=8 about 2.83--3.41 versus 2.39--2.84) and improves throughput in nearly all configurations---marginal only at the smallest budget---by up to about 18.5%. More importantly, the gains follow stable, transferable regularities: the relative gain grows with the budget and is most pronounced for less predictable workloads at small-to-medium batch sizes, while beyond a certain budget throughput plateaus and decouples from the still-rising accepted length. These results show that retaining multiple candidate paths under the same budget can effectively improve DeepSeek-V4 decoding efficiency, and offer experience for adapting speculative decoding to future models with compressed, sparse, or structured context representations.
- Abstract（参考訳）: 自己回帰復号化中のターゲットモデルの繰り返し実行は、LLM推論遅延の主要な原因である。
単一の候補連鎖に従う線形投機とは異なり、木構造投機は複数の分岐を共有プレフィックスから保持する。
CSA/HCAオンライン圧縮された注意は、共有プレフィックスから分岐したブランチが異なる状態に圧縮され、クロスブランチ状態の一貫性を破るターゲット検証側の困難に集中する。
DeepSeek-V4-Flashパイプラインに、ブランチ対応因果検証、一時状態分離、受け入れパス状態更新を通じて、ツリー構造化の投機的デコードを統合することで、ブランチ間の検証と圧縮状態更新の一貫性を維持します。
予算D=5からD=8、バッチサイズ1から64、および3つのデータセット(GSM8K、MBPP、ShareGPT)にわたって、ツリーの投機は全ての設定(D=8、D=8、D=2.83--3.41対2.39--2.84)で一致した線形構成よりも高い許容長を実現し、ほぼ全ての構成でスループットを向上させる。
さらに重要なのは、利益は安定的で転送可能な規則に従っていることだ。相対的な利益は予算とともに増加し、小規模から中規模までのバッチサイズで予測しにくいワークロードに対して最も顕著である。
これらの結果から,同一予算下で複数の候補パスを保持することで,DeepSeek-V4デコーディング効率が向上し,圧縮,スパース,構造化されたコンテキスト表現を備えた将来のモデルに投機的デコーディングを適用する経験が得られた。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。
Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
論文 参考訳（メタデータ） (2026-08-13T17:43:44Z) - Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。
本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。
RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
論文 参考訳（メタデータ） (2026-08-12T07:32:29Z) - Bole: Efficient Tree Speculation for Hybrid-Attention Language Models [14.999732832367307]
ハイブリット・アテンションな大言語モデルは、長いコンテキスト推論コストを削減するために、全注意とリカレント・リニア・アテンションを組み合わせる。
既存のツリー指定システムは、キー値キャッシュとフルアテンションモデルを中心に設計されている。
本稿では,ハイブリッドアテンション LLM に対する効率的なツリー投機を可能にするカーネル・ランタイム共同設計である Bole を提案する。
論文 参考訳（メタデータ） (2026-08-03T03:43:14Z) - Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting [36.83545196908392]
BASTIONは、ツリーベースの拡散ドラフトを備えた、予算対応の投機的デコーディングフレームワークである。
本フレームワークは,(1)経路信頼度によって予測される受理長を推定する受理サロゲート,(2)ハードウェアを意識した屋上モデルのキャリブレーションを行うオンライン遅延推定器,(3)積算検証コストを正当化しなくなるまで木を成長させる適応的最優先拡張の3つの相乗的要素を統合する。
論文 参考訳（メタデータ） (2026-05-28T10:21:34Z) - DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence [240.40422202055993]
We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language model。
DeepSeek-V4シリーズには、アーキテクチャと最適化のいくつかの重要なアップグレードが含まれている。
DeepSeek-V4シリーズは、長いコンテキストシナリオにおいて非常に効率的である。
論文 参考訳（メタデータ） (2026-04-26T14:49:33Z) - WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。
WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。
NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
論文 参考訳（メタデータ） (2026-04-20T01:29:56Z) - SAGE: Accelerating Vision-Language Models via Entropy-Guided Adaptive Speculative Decoding [15.734450444255787]
投機的復号化は、視覚言語モデルにおける推論を加速するための有望なアプローチとして現れている。
既存のメソッドはデコードプロセスを通して固定されている静的ツリー構造に依存している。
実時間予測の不確実性に基づいて投機木構造を動的に調整する新しいフレームワークであるSAGEを提案する。
論文 参考訳（メタデータ） (2026-01-31T05:35:40Z) - LogPrism: Unifying Structure and Variable Encoding for Effective Log Compression [41.26407915252864]
parse-then-compress"パラダイムは、ログ解析と圧縮を独立した目的として扱うことにより、効率を制限します。
統一冗長エンコーディングによりギャップを埋めるフレームワークであるLogPrismを提案する。
16のベンチマークデータセットの実験では、LogPrismが新たな最先端を確立していることが確認されている。
論文 参考訳（メタデータ） (2026-01-24T15:12:31Z) - Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。
ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
論文 参考訳（メタデータ） (2025-12-26T04:45:49Z) - DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。
動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。
我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
論文 参考訳（メタデータ） (2025-10-09T17:24:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。