論文の概要: SpecFit: Not All Draft Tokens Cost the Same in Offloaded MoE Inference

• arxiv url: http://arxiv.org/abs/2610.15417v1
• Date: Sun, 11 Oct 2026 07:41:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.209806
• Title: SpecFit: Not All Draft Tokens Cost the Same in Offloaded MoE Inference
• Title（参考訳）: SpecFit: オフロードされたMoE推論で、すべてのドラフトが同じコストを被るわけではない
• Abstract要約: 受信時間よりも予測スループットを最大化するためにSpecFitを提案する。 CNN/DailyMailの要約とQwen3-30B-A3BによるGSM8Kサブセットでは、SpecFitはEagle-3より21.6%と7.0%高速である。
• 参考スコア（独自算出の注目度）: 30.581142873134922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-experts (MoE) models activate only a few experts per token, but when their expert weights are offloaded to host memory, host-to-device (H2D) expert transfers enter the critical path of decoding. Speculative decoding verifies several draft tokens in one forward pass, yet in an MoE model each verified token activates its own experts, so a larger draft tree transfers more experts. Because of this H2D cost, speculative decoding commits several tokens per verification cycle yet is sometimes even slower than autoregressive decoding. Based on this observation, we propose SpecFit, which chooses the verified draft subtree to maximize predicted throughput rather than acceptance length. SpecFit estimates the expected number of committed tokens from draft path probabilities and predicts cycle time from the node count and the per-layer union of the experts the subtree activates; this union is a monotone submodular coverage function, so each node pays only for the experts it adds. An exact search over ancestor-closed subtrees returns the subtree with the highest predicted throughput; run after each draft level, the same search also decides when to stop drafting, and the unmodified target verifies the result. On CNN/DailyMail summarization and a GSM8K subset with Qwen3-30B-A3B, SpecFit decodes 21.6% and 7.0% faster than EAGLE-3 with the same expert cache and 1.97x and 1.72x as fast as vanilla EAGLE-3. Code is available at https://github.com/Chlience/SpecFit.
• Abstract（参考訳）: Mixture-of-experts (MoE)モデルではトークン毎に数名の専門家しかアクティベートしないが、メモリをホストするために専門家の重みがオフロードされると、ホスト・ツー・デバイス(H2D)の専門家転送がデコードの重要なパスに入る。 投機的復号化(Speculative decoding)は、1つのフォワードパスでいくつかのドラフトトークンを検証するが、MoEモデルでは各認証トークンが自身の専門家を活性化するので、より大きなドラフトツリーはより多くの専門家を転送する。 このH2Dコストのため、投機的復号化は検証サイクル毎にいくつかのトークンをコミットするが、時として自己回帰復号化よりも遅い。 そこで本研究では,予測スループットを最大化するために,検証済みのドラフトサブツリーを選択するSpecFitを提案する。 SpecFitは、ドラフトパスの確率から期待されるコミットトークンの数を推定し、ノード数とサブツリーが活性化する専門家の層ごとの結合からサイクルタイムを予測する。 祖先を閉じたサブツリーの正確な探索は、最も予測されたスループットでサブツリーを返します。各ドラフトレベルを実行し、同じ検索がいつドラフトを中止するかを判断し、修正されていないターゲットが結果を検証します。 CNN/DailyMailの要約とQwen3-30B-A3BによるGSM8Kサブセットでは、SpecFitはEAGLE-3と同じエキスパートキャッシュを持つEAGLE-3より21.6%と7.0%高速で、バニラEAGLE-3の1.97xと1.72倍高速である。 コードはhttps://github.com/Chlience/SpecFit.comで入手できる。

関連論文リスト

• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• AcceptMoE: Commitment-Weighted Self-Sizing Verifier Expert Sets for Efficient MoE Speculative Decoding [21.76650680783374]
  投機的復号化は、1つのターゲットモデルフォワードパスにおけるドラフトトークンのツリーを検証する。 ミックス・オブ・エキスパート(MoE)ターゲットの場合、並列検証はすべてのツリーノードから選択された専門家の団結を活性化することができる。 本稿では,検証側の専門家セレクタであるAcceptMoEを紹介する。
  論文  参考訳（メタデータ） (2026-08-04T01:01:12Z)
• OoO-Spec: Out-of-Order Semantic Speculation for Fast Tool Calling [10.19615019581895]
  LLMは、関数の選択と引数の値は、要求とツールスキーマと並行して予測できるにもかかわらず、トークン単位でツールコールを生成する。 我々は、これらの欠落したセマンティクスを順番に計算するOoO-Specを提案する。
  論文  参考訳（メタデータ） (2026-08-01T18:41:11Z)
• Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding [14.191111229515654]
  本稿では,AdaptiveSpecを紹介した。 復号時に生成した内部信号から、両方の決定を適応させる。 最先端の自己回帰的投機的復号法よりもスループットを向上させる。
  論文  参考訳（メタデータ） (2026-07-03T20:43:49Z)
• JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting [44.70535853030503]
  投機的復号(SD)は、複数のトークンを起草し、それらを並列に検証することによって、自己回帰的大規模言語モデル(LLM)を加速する。 従来のヘッドベースSD法は因果効率ジレンマに直面していた。 本稿では,一方向起案効率と分岐的因果条件を組み合わせたヘッドベースSDフレームワークJetSpecを提案する。
  論文  参考訳（メタデータ） (2026-06-16T18:37:32Z)
• Test-Time Speculation [15.347747465564458]
  投機的復号化は、高速なドラフトモデルを使用してトークンとより正確なターゲットモデルを生成して推論を加速する。 本研究は,最先端の投機家でも受理長は世代長とともに低下することを示した。 我々は,テスト時に投機を継続的に適応させるオンライン蒸留手法である$textitTest-Time Speculation (TTS)$を提案する。
  論文  参考訳（メタデータ） (2026-05-10T05:02:39Z)
• Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding [15.040000425985324]
  ツリーベースの投機的復号化は、複数のドラフト候補を並列に検証することで自己回帰生成を加速するが、この利点はスパース・ミックス・オブ・エクササイズ(MoE)モデルでは弱まる。 我々は,MoE投機的復号化のためのトレーニング不要,ハイパーパラメータフリー,ロスレス適応検証手法EVICTを提案する。 EVICTは、目標検証の前にドラフトツリーを切断し、コスト効率の良いプレフィックスのみを保持することで、検証済みのトークンを全てカウントする。
  論文  参考訳（メタデータ） (2026-05-01T01:52:01Z)
• Route Experts by Sequence, not by Token [58.92918003265283]
  Mixture-of-Experts (MoE)アーキテクチャは、トークンごとに専門家のサブセットだけを活性化することによって、大きな言語モデル(LLM)をスケールする。 標準的なTopKルーティングは、すべてのトークンに同じ固定数の専門家を割り当てる。 トークンレベルからシークエンスレベルにシフトする最小限の修正であるシークエンスレベルTopK(SeqTopK)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T18:36:07Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。