論文の概要: Why Speculative Decoding Works Better Than Predicted on Sparse MoE Models

• arxiv url: http://arxiv.org/abs/2610.38981v1
• Date: Wed, 28 Oct 2026 22:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.42525
• Title: Why Speculative Decoding Works Better Than Predicted on Sparse MoE Models
• Title（参考訳）: 投機的復号化がMoEモデルより優れている理由
• Abstract要約: 検証コストは、アクティベートされた専門家のバイトだけでなく、ドラフトトークン間の時間的重複やGPU実行のダイナミックスによって管理されている。 我々は、この効果を最大エントロピー反復補間フレームワークを用いてモデル化し、4%未満の誤差でルーティングオーバーラップ統計から一意の専門家数を予測する。
• 参考スコア（独自算出の注目度）: 5.408368146111209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding (SD) accelerates autoregressive inference by leveraging the memory bound nature of decoding, verifying multiple draft tokens in a single forward pass. For mixture-of-experts (MoE) models, prior work predicts a concave speedup-batch size relationship, with gains peaking at intermediate batch sizes due to expert saturation. We evaluate this across 10 sparse MoE models (30B--1T parameters, 8--512 experts) and find recent fine-grained models break this trend, showing higher speedup at low batch size. We find verification cost is governed not only by activated-expert bytes, but also by temporal overlap across draft tokens and GPU execution dynamics. At low batch size, MoE layers in fine-grained models account for a much smaller share of runtime than of weights; on H100, kernel profiling attributes this mainly to higher bandwidth utilization of MoE kernels relative to attention, with L2 absorbing repeated reads of co-routed experts. Across draft tokens, routing overlap further reduces the unique experts activated during verification relative to independence assumptions. We model this effect using a maximum-entropy Iterative Proportional Fitting (IPF) framework that predicts unique expert counts from routing-overlap statistics with less than 4\% error, and substantially narrows the gap to real-model curves and captures the qualitative low-batch trend from synthetic routing.
• Abstract（参考訳）: 投機的復号化(SD)は、復号化のメモリバウンドな性質を活用することで自己回帰推論を加速し、1つのフォワードパスで複数のドラフトトークンを検証する。 ミックス・オブ・エキスパート(MoE)モデルの場合、事前の作業は、専門家の飽和による中間バッチサイズでのゲインがピークとなる、凹面のスピードアップ・バッチサイズ関係を予測する。 これを10個のスパースMOEモデル(30B--1Tパラメータ、8--512のエキスパート)で評価し、最近の微粒化モデルがこの傾向を破り、バッチサイズが小さくなった。 検証コストは、アクティベートされた専門家のバイトだけでなく、ドラフトトークン間の時間的重複やGPU実行のダイナミクスによって管理されている。 H100では、カーネルプロファイリングは主に注意に対してMoEカーネルの帯域幅を高くし、L2は専門家の繰り返し読み出しを吸収している。 ドラフトトークン全体では、ルーティングの重複により、独立性の仮定に対する検証中にアクティベートされたユニークな専門家がさらに削減される。 この効果を最大エントロピーイテレーティブ・プロポーショナル・フィッティング(IPF)フレームワークを用いてモデル化し、4 %の誤差でルーティングオーバーラップ統計から一意の専門家数を予測するとともに、実際のモデル曲線とのギャップを大幅に狭め、合成ルーティングから定性的な低バッチ傾向を捉える。

関連論文リスト

• Cross-Family Speculative Prefill: Training-Free Long-Context Compression with Small Draft Models [6.881296865222651]
  そこで本研究では、軽量なドラフトモデルを用いて、異なるファミリーのターゲットモデルの即時圧縮を行うクロスファミリー投機プレフィルについて検討する。 注意に基づくトークン重要度推定は、異なるモデルファミリ間で確実に伝達される。 その結果、投機的プリフィルは主にタスクの先行とセマンティック構造に依存し、一般化可能なプロンプト圧縮プリミティブとして機能することが示唆された。
  論文  参考訳（メタデータ） (2026-03-03T05:59:18Z)
• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• TSPulse: Dual Space Tiny Pre-Trained Models for Rapid Time-Series Analysis [12.034816114258803]
  TSPulseは、1Mパラメータしか持たない超コンパクトな時系列事前訓練モデルである。 分類、異常検出、インプット、検索タスクで強く機能する。 結果は100Mパラメータ(既存のSOTAモデルより10-100倍小さい)で達成される。
  論文  参考訳（メタデータ） (2025-05-19T12:18:53Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series [11.635608108358575]
  本稿では,効率的な転送学習機能を備えたコンパクトモデルであるTiny Time Mixers (TTM)について紹介する。 TTMには、適応パッチ、多様な解像度サンプリング、およびさまざまなデータセット解像度の事前トレーニングを処理するための解像度プレフィックスチューニングなどのイノベーションが含まれている。 既存のベンチマークでは0/few-shot予測(4-40%)を上回り、計算要求を大幅に削減した。
  論文  参考訳（メタデータ） (2024-01-08T15:21:21Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。