論文の概要: Less Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2607.12696v1
- Date: Tue, 14 Jul 2026 12:22:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.139899
- Title: Less Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts
- Title（参考訳）: 専門家の少ない、より高速なデコーディング - ミックス・オブ・エクササイズのためのコストアウェアな投機的デコーディング
- Abstract要約: 本稿では,予測限界エキスパートアクティベーションコストをドラフト選択に組み込む,コストアウェアな投機的復号化フレームワークを提案する。
我々は、DeepSeek-V3.1 (671B)、Qwen3-235B-A22B、GPT-OSS-120Bを含む3つの大規模MoEモデル上でtextscEcoSpecを評価する。
- 参考スコア（独自算出の注目度）: 34.20364644493512
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sparse Mixture-of-Experts (MoE) models have become an important approach for scaling Large Language Models (LLMs), but their inference efficiency depends strongly on expert activation patterns. Speculative decoding (SD) accelerates autoregressive generation by verifying multiple draft tokens in parallel, yet existing draft selection strategies primarily optimize acceptance likelihood. In large-scale MoE models, however, selecting draft tokens also determines the union of experts activated during verification. We observe that confidence-driven SD can introduce \textit{expert scattering}: high-probability draft tokens may route to disjoint experts, increasing expert-weight memory traffic and reducing the speedup from speculation. Motivated by this observation, we revisit draft-tree selection under the non-uniform memory-cost structure of MoE inference. We propose \textsc{EcoSpec}, a cost-aware speculative decoding framework that incorporates predicted marginal expert activation cost into draft selection. With a lightweight expert predictor and a dynamic expert buffer, \textsc{EcoSpec} favors draft paths that preserve high acceptance likelihood while reusing experts already covered by the current verification set, without modifying the target-model verification rule. We evaluate \textsc{EcoSpec} on three large-scale MoE models, including DeepSeek-V3.1 (671B), Qwen3-235B-A22B, and GPT-OSS-120B, across reasoning, coding, question-answering, and dialogue benchmarks. \textsc{EcoSpec} consistently reduces active expert footprints and improves end-to-end decoding speed, achieving up to $1.62\times$ speedup. These results show that accounting for expert activation cost is important for efficient speculative decoding in large-scale MoE models.
- Abstract（参考訳）: Sparse Mixture-of-Experts (MoE) モデルはLarge Language Models (LLM) のスケーリングにおいて重要なアプローチとなっているが、その推論効率は専門家のアクティベーションパターンに強く依存している。
投機的復号化(SD)は、複数のドラフトトークンを並列に検証することで自己回帰生成を加速するが、既存のドラフト選択戦略は主に受け入れ確率を最適化する。
しかし、大規模なMoEモデルでは、ドラフトトークンを選択することで、検証中にアクティベートされた専門家の団結も決定される。
信頼性駆動型SDでは,高確率なドラフトトークンが専門家と合流し,専門家のメモリトラフィックが増加し,憶測によるスピードアップが減少する可能性がある。
本研究の目的は,MoE推論の非一様メモリコスト構造の下でのドラフトツリー選択を再考することである。
本稿では,予測限界エキスパートアクティベーションコストをドラフト選択に組み込む,コスト対応の投機的デコードフレームワークである‘textsc{EcoSpec} を提案する。
軽量なエキスパート予測器と動的エキスパートバッファにより、ターゲットモデル検証ルールを変更することなく、現在の検証セットでカバーされている専門家を再利用しながら、高い受け入れ可能性を維持するドラフトパスが好まれる。
我々は、DeepSeek-V3.1 (671B)、Qwen3-235B-A22B、GPT-OSS-120Bを含む3つの大規模MoEモデル上で、推論、コーディング、質問応答、ダイアログベンチマークを用いて、textsc{EcoSpec}を評価する。
\textsc{EcoSpec}は、アクティブなエキスパートフットプリントを一貫して削減し、エンドツーエンドのデコード速度を改善し、最大1.62\times$スピードアップを達成する。
これらの結果から,大規模MOEモデルにおける効率的な投機的復号化には,エキスパートアクティベーションコストの計算が重要であることが示唆された。
関連論文リスト
- AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
AnchorMoEは、解釈可能な構成別分類フレームワークである。
ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。
実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
論文 参考訳（メタデータ） (2026-06-02T13:30:54Z) - Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding [8.297861366384156]
Hybrid Verified Decodingは、検証前にキャッシュドラフトが受け入れられた長さを予測する。
分析の結果,キャッシュの素早い生成方法,高利得キャッシュのドラフトがドラフトスペースのごく一部に集中する方法,およびペイオフ誘導選択がドラフト選択の逐次的削除を減らしたことを示す。
論文 参考訳（メタデータ） (2026-05-31T05:22:40Z) - Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding [15.040000425985324]
ツリーベースの投機的復号化は、複数のドラフト候補を並列に検証することで自己回帰生成を加速するが、この利点はスパース・ミックス・オブ・エクササイズ(MoE)モデルでは弱まる。
我々は,MoE投機的復号化のためのトレーニング不要,ハイパーパラメータフリー,ロスレス適応検証手法EVICTを提案する。
EVICTは、目標検証の前にドラフトツリーを切断し、コスト効率の良いプレフィックスのみを保持することで、検証済みのトークンを全てカウントする。
論文 参考訳（メタデータ） (2026-05-01T01:52:01Z) - MoE-Spec: Expert Budgeting for Efficient Speculative Decoding [4.064682810747041]
本稿では,メモリコストから投機深度を分離する訓練不要な専門家予算化手法を提案する。
複数のモデルスケールとデータセットにわたる実験により、この手法は最先端の投機的デコードベースラインよりも10-30%高いスループットが得られることが示された。
論文 参考訳（メタデータ） (2026-02-17T22:02:36Z) - TriSpec: Ternary Speculative Decoding via Lightweight Proxy Verification [63.65902785448346]
投機的復号化は、その軽量なドラフトと並列検証機構を通じて、大幅なスピードアップを提供する。
計算コストを大幅に削減する軽量なプロキシを新たに導入した3次SDフレームワークであるTriSpecを提案する。
Qwen3およびDeepSeek-R1-Distill-Qwen/LLaMAファミリーの実験は、TriSpecが標準SDよりも最大35%のスピードアップを達成したことを示している。
論文 参考訳（メタデータ） (2026-01-30T17:04:18Z) - Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。
既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。
そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-26T07:53:41Z) - Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。
SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。
近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。
本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
論文 参考訳（メタデータ） (2025-11-07T22:19:34Z) - When, What, and How: Rethinking Retrieval-Enhanced Speculative Decoding [29.402164743559]
ReSpecは、ドラフト作成を適応的な意思決定に変換する新しいフレームワークである。
Spec-Benchの実験では、ReSpecの最先端アクセラレーションはそれぞれ33%以上と25%以上を達成している。
論文 参考訳（メタデータ） (2025-11-03T06:57:16Z) - Unified Sparse Mixture of Experts [14.774596844618396]
SMOE(Sparse Mixture of Experts)モデルは、一定の計算オーバーヘッドを維持しながら、モデルのキャパシティをスケールする。
本稿では,これらの制約に対処する統一スパース・ミックス・オブ・エキスパート(USMoE)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-29T07:15:12Z) - HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。
キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。
HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-11-03T04:25:46Z) - Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
我々は、Mixture-of-Experts Large Language Model (MoE-LLMs) のためのトレーニング不要なMixture-Compressorを提案する。
我々のMCは静的量子化と動的プルーニングを統合し、より少ない精度でMoE-LLMの極端な圧縮を実現する。
例えば、2.54ビットでは、MCは76.6%を圧縮し、平均精度損失は3.8%である。
論文 参考訳（メタデータ） (2024-10-08T18:09:38Z) - Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。
大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。
視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
論文 参考訳（メタデータ） (2024-02-19T21:20:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。