論文の概要: Speculative Decoding for Mixture-of-Experts Models: Expert Bytes, Kernel Bandwidth and the Best Draft Length

• arxiv url: http://arxiv.org/abs/2610.34440v1
• Date: Sun, 25 Oct 2026 16:55:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.615173
• Title: Speculative Decoding for Mixture-of-Experts Models: Expert Bytes, Kernel Bandwidth and the Best Draft Length
• Title（参考訳）: エキスパートバイト・カーネル帯域幅・ドラフト長の混合実験モデルの投機的復号化
• Abstract要約: 投機的復号化は、1つの検証パスでいくつかの起草されたトークンをチェックする。 分離エンジンは、各選択した専門家をパス毎に1回読み込むため、スロット単位のエンジンよりもバイト数が少なく、トークン毎に1回読み取ることができる。 幾何学的受容の下では、投機が平易な復号よりも速いこの段階から導かれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding checks several drafted tokens in one verification pass. On a mixture-of-experts (MoE) model, consecutive tokens often select the same experts. A deduplicating engine reads each selected expert once per pass, so it requests fewer bytes than a per-slot engine, which reads it once per token. We write a step's time as the bytes each kernel requests over its effective bandwidth, plus fixed time. Under geometric acceptance, we derive from this step time when speculation is faster than plain decoding. The best draft length is a monotone staircase in the acceptance rate. We bound how a bandwidth error moves each result, and we check the main steps in Lean. Deduplication is faster exactly where its share $\bar u(n)$ of the per-slot bytes is below its ratio $r(n)$ of the per-slot bandwidth. On llama.cpp Metal, MLX-LM and llama.cpp CUDA, which we modified to deduplicate, the per-slot kernel has the higher effective bandwidth (r = 0.32 to 0.75). Thus deduplication is faster only from 5 to 8 tokens per pass, or never. We fit the bandwidths on one layer's expert operation, run alone, in under an hour per model. Bytes from routing traces over these bandwidths predict the time that deduplication saves. The measured saving lies inside its error bound at every point on CUDA and MLX-LM and at 36 of 48 points on Metal. The crossover is the first pass size at which deduplication is faster. The prediction places it within one pass size in 10 of 12 configurations of engine, model and depth. We computed these predictions after the measurements. On DeepSeek-V2-Lite, operation times measured before its speculative runs give the best draft length on CUDA within one at all 22 acceptance values.
• Abstract（参考訳）: 投機的復号化は、1つの検証パスでいくつかの起草されたトークンをチェックする。 混合専門家(MoE)モデルでは、連続トークンがしばしば同じ専門家を選択する。 分離エンジンは、各選択した専門家をパス毎に1回読み込むため、スロット単位のエンジンよりもバイト数が少なく、トークン毎に1回読み取ることができる。 我々は、各カーネルが効率的な帯域幅と固定時間で要求するバイトとして、ステップタイムを書きます。 幾何学的受容の下では、推測が平易な復号よりも高速なこの段階から導かれる。 最良のドラフト長は、受容率のモノトーン階段である。 バンド幅のエラーがそれぞれの結果をどう移動させるかに縛り付けられ、リーンの主なステップをチェックします。 重複は、その共有$\bar u(n)$のスロット毎のバイト数が、スロット毎の帯域幅の$r(n)$の比率以下である場合に正確に高速である。 切り離しのために修正したllama.cpp Metal、MLX-LM、llama.cpp CUDAでは、スロット単位のカーネルはより有効帯域幅が高い(r = 0.32 - 0.75)。 したがって、重複はパス当たり5から8トークン、または決して高速である。 私たちは、ひとつのレイヤのエキスパートオペレーションに帯域幅を適合させ、1モデルあたり1時間未満で、単独で実行します。 これらの帯域幅上のルーティングトレースからのバイトは、重複が減少する時間を予測します。 測定された貯蓄は、CUDAとMLX-LMの全ての点とMetalの48点のうち36点に制限されている。 クロスオーバーは、重複が高速になる最初のパスサイズである。 予測は、エンジン、モデル、深さの12構成のうち10のパスサイズに配置する。 測定後にこれらの予測を計算した。 DeepSeek-V2-Liteでは、投機的な実行前に測定された操作時間は、22の受け入れ値のうち1つでCUDA上で最高のドラフト長を提供する。

関連論文リスト

• CAST: Cost-Aware Speculative Trees from One-Pass Block Drafters [7.59352120325978]
  投機的復号化は、将来のトークンを安価にドラフトすることで、大きな言語モデル推論を加速させる。 CAST(Cost-Aware Speculative Trees)を導入し、これらの候補を木にまとめ、単一のターゲットパスで検証する。 予測幅では、CASTは8つの設定すべてで標準チェーンよりも43%高速である。
  論文  参考訳（メタデータ） (2026-09-29T04:13:00Z)
• Beneath the Tokens: A Performance Engineering Study of Multi-Token Prediction in GPU-Accelerated LLM Inference [0.0]
  本研究では,NVIDIA A10G GPU上での単一要求の制御において,自動回帰復号化に対するMTP( two-token multi-token prediction)を評価する。 360-requestベンチマークでは、平文、推論集約、ツールコールのワークロードがカバーされ、ランタイムテレメトリ、Nsight Systems、PyTorch Profiler、選択されたNsight Compute測定が観察されたパフォーマンスを説明するために使用された。
  論文  参考訳（メタデータ） (2026-09-28T13:49:34Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Decomposing Runtime, Kernel, and Quantization Speedups via a Matched FP16 Intermediate: A Hardware-Conditioned Case Study on Four NVIDIA RTX A5000 GPUs [0.614481021961242]
  量子化は、再現可能な半精度メモリの崖を約4回通り、同時ユーザを拡張します。 一致した中間スタックは、量子化されたカーネルがフルスピードアップをランタイム部とカーネルと量子化部に分割することなく、高速なランタイムを保持する。 2つのスタック間のサンプリングモードとプロンプトプールの違いは、妥当性の脅威として記録される。
  論文  参考訳（メタデータ） (2026-07-13T10:31:54Z)
• PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length [21.738896310075678]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論過程を高速化する強力な手法である 軽量でトレーニング可能な事前検証レイヤを用いて,ドラフト長を動的に制御する新しいアプローチであるPacerを提案する。 以上の結果から,Pacerは自己回帰復号化よりも最大2.66倍の高速化を実現し,一貫した投機復号化を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-02-01T15:12:38Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Scaling Speculative Decoding with Lookahead Reasoning [11.349400331288257]
  トークンレベルの投機的復号法(SD)は有効だが、その利点は秘められている。 並列性の第2段層を利用したLookahead Reasoningを開発した。 Lookahead Reasoningは、回答の品質を維持しながら、SDの1.4倍から2.1倍のスピードアップを改善する。
  論文  参考訳（メタデータ） (2025-06-24T17:48:10Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。