論文の概要: HybridSpec: Throughput-Aware Speculative Decoding for Hybrid GDN-MoE Models

• arxiv url: http://arxiv.org/abs/2611.04055v1
• Date: Mon, 02 Nov 2026 22:58:00 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:26:55.573525
• Title: HybridSpec: Throughput-Aware Speculative Decoding for Hybrid GDN-MoE Models
• Title（参考訳）: HybridSpec: ハイブリッドGDN-MoEモデルのためのスループットを考慮した投機的デコード
• Abstract要約: HybridSpecは、ドラフト側の受け入れ推定と測定対象遅延からGPUの検証長を選択する。 3つのGDN-MoEターゲットモデルが単一要求のgreedyデコードで、HybridSpecは自動回帰デコードよりも1.75times$-1.88times$高速である。
• 参考スコア（独自算出の注目度）: 20.985286324382606
• License:
• Abstract: In speculative decoding, parallel drafters such as DFlash make drafting cheap, so target verification dominates each round. A central choice is the verification length, the number of tokens that the target processes in each round. Verifying more draft tokens can accept more of them, but work after the first rejection is wasted. For hybrid target models that combine Gated DeltaNet (GDN) and mixture-of-experts (MoE) layers, verification time grows much faster with this length than for dense models. In a single-request profile of Qwen3.6-35B-A3B with DFlash, it grew by 71% from length 4 to 16, almost entirely in GDN and MoE layers, compared with 4%-6% for a dense Qwen3-4B target. Each GDN layer must update a recurrent state at every token and recover it at the end of the accepted prefix. The MoE cost depends on the experts that the tokens activate, which are known only once verification runs. We present HybridSpec, which selects the verification length on the GPU from draft-side acceptance estimates and measured target latency. Verification then runs this length plus one extra token up to the first MoE router, before any expert runs. There, a lightweight routing correction uses the observed expert assignments to decide whether to keep that token. The rest of verification runs only on the selected tokens. Block-parallel GDN kernels avoid storing a state after every token and reconstruct the accepted state of every GDN layer in one launch. In isolated benchmarks at verification lengths 4 to 16 with every draft token accepted, these kernels, including accepted-state reconstruction, are $1.54\times$-$4.04\times$ faster than the default kernels. With three GDN-MoE target models in single-request greedy decoding, HybridSpec is $1.75\times$-$1.88\times$ faster than autoregressive decoding and $1.30\times$-$1.33\times$ faster than DFlash.
• Abstract（参考訳）: 投機的復号法では、DFlashのようなパラレルドラフトラは、ドラフトを安くするので、ターゲット検証が各ラウンドを支配している。 中心となる選択は、各ラウンドで対象とするトークンの数である検証の長さである。 より多くのドラフトトークンを検証すれば、より多くを受け入れることができるが、最初の拒否が無駄にされた後に機能する。 Gated DeltaNet(GDN)とMix-of-Experts(MoE)を組み合わせたハイブリッドターゲットモデルの場合、検証時間は高密度モデルよりもはるかに速く成長する。 DFlashを用いたQwen3.6-35B-A3Bの単一要求プロファイルでは、GDN層とMoE層で約71%成長し、密度の高いQwen3-4Bターゲットでは4%-6%だった。 各GDN層は、各トークンの繰り返し状態を更新し、受け入れられたプレフィックスの最後にそれを回復しなければならない。 MoEのコストは、トークンがアクティベートされる専門家に依存する。 提案するHybridSpecは,ドラフト側受入推定値と目標遅延の測定値からGPU上での検証長を選択する。 検証は、専門家が実行する前に、最初のMoEルータまで、この長さと1つの余分なトークンを実行する。 そこでは、軽量なルーティング補正が観察された専門家の割り当てを使用してトークンを保持するかどうかを決定する。 残りの検証は選択したトークンでのみ実行される。 ブロック並列GDNカーネルは、トークン毎に状態の保存を回避し、すべてのGDN層の受け入れ状態を1回の起動で再構築する。 検証期間が4から16の独立したベンチマークでは、全てのドラフトトークンが受け入れられ、受け入れ状態の再構築を含むこれらのカーネルは、デフォルトのカーネルよりも高速な$1.54\times$-4.04\times$1.54\times$である。 3つのGDN-MoEターゲットモデルが単一要求のgreedyデコードで、HybridSpecは自動回帰デコードより1.75\times$-1.88\times$、DFlashより1.30\times$-1.33\times$である。

関連論文リスト

• SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
  デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。 対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
  論文  参考訳（メタデータ） (2026-11-02T04:21:47Z)
• Speculative Decoding for Mixture-of-Experts Models: Expert Bytes, Kernel Bandwidth and the Best Draft Length [0.0]
  投機的復号化は、1つの検証パスでいくつかの起草されたトークンをチェックする。 分離エンジンは、各選択した専門家をパス毎に1回読み込むため、スロット単位のエンジンよりもバイト数が少なく、トークン毎に1回読み取ることができる。 幾何学的受容の下では、投機が平易な復号よりも速いこの段階から導かれる。
  論文  参考訳（メタデータ） (2026-10-25T16:55:48Z)
• TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning [55.18459469601808]
  TokenGateは、学習可能なトークンプルーニングを可能にするために、既存のトレーニングモデルを拡張する小さなコンポーネントである。 トークンプルーニングのための非微分不可能なトップK演算子にも拘わらず、エンドツーエンドの学習を可能にするため、トークン付き注目を導入する。 様々なタスクにおいて、TokenGateは1.4$-11.3times$高速タイムツーファーストトークン(TTFT)と1.5$-3.4times$低ピークメモリを実現している。
  論文  参考訳（メタデータ） (2026-10-19T17:15:53Z)
• SpecFit: Not All Draft Tokens Cost the Same in Offloaded MoE Inference [30.581142873134922]
  受信時間よりも予測スループットを最大化するためにSpecFitを提案する。 CNN/DailyMailの要約とQwen3-30B-A3BによるGSM8Kサブセットでは、SpecFitはEagle-3より21.6%と7.0%高速である。
  論文  参考訳（メタデータ） (2026-10-11T07:41:12Z)
• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Approximate Speculative Decoding [2.7677713446315946]
  投機的復号化は、ターゲットモデルと並行してドラフトブロックを検証することで自己回帰生成を加速する。 我々は、二項第一ミスマッチトランケーションを予算化された最長選択に置き換えるトレーニング不要な検証器であるtextbf Speculative Decoding (ASD) を導入する。 ASDは新しいドラフトモデルも微調整も必要ありません。
  論文  参考訳（メタデータ） (2026-08-04T10:45:24Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• DEL: Context-Aware Dynamic Exit Layer for Efficient Self-Speculative Decoding [7.204881999658682]
  DELは、推論中に出口層と投機長を適応的に選択するプラグイン・アンド・プレイ方式である。 Delは、全体的なスピードアップを$2.16times$$sim$2.62times$ over vanilla auto-regressive decoding で達成している。
  論文  参考訳（メタデータ） (2025-04-08T01:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。