論文の概要: AcceptMoE: Commitment-Weighted Self-Sizing Verifier Expert Sets for Efficient MoE Speculative Decoding
- arxiv url: http://arxiv.org/abs/2608.02989v1
- Date: Tue, 04 Aug 2026 01:01:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.983488
- Title: AcceptMoE: Commitment-Weighted Self-Sizing Verifier Expert Sets for Efficient MoE Speculative Decoding
- Title（参考訳）: AcceptMoE: 効率的なMoE投機復号のためのコミット重み付き自己サイズ検証エキスパートセット
- Abstract要約: 投機的復号化は、1つのターゲットモデルフォワードパスにおけるドラフトトークンのツリーを検証する。
ミックス・オブ・エキスパート(MoE)ターゲットの場合、並列検証はすべてのツリーノードから選択された専門家の団結を活性化することができる。
本稿では,検証側の専門家セレクタであるAcceptMoEを紹介する。
- 参考スコア（独自算出の注目度）: 21.76650680783374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speculative decoding verifies a tree of draft tokens in one target-model forward pass. For a mixture-of-experts (MoE) target, however, parallel verification can activate the union of the experts selected by all tree nodes, even though only a small subset of those nodes reaches the accepted output. Token count, activated-expert union size, and expert-weight traffic are therefore distinct cost measures: reducing the token workload need not shrink the expert union proportionally, and under offloading, transfer traffic also depends on cache residency. We introduce AcceptMoE, a verifier-side expert selector that combines target-router scores with offline-estimated commitment probabilities and automatically adjusts the number of eligible experts for each verification block, eliminating the need for a user-specified expert budget. Under offloading, AcceptMoE conditions expert eligibility on cache residency instead of predicting natural routes and prefetching the corresponding expert weights. Although constraining target-expert eligibility changes the model distribution, across 12 model-task pairs spanning three MoE targets and four benchmarks, AcceptMoE's mean accuracy is 0.27 percentage points lower than that of EAGLE-3 speculative decoding with natural routing. Served with SGLang at batch size one, it reaches 1.290 times the throughput of this baseline with all expert weights in GPU memory, and 2.06 times under physical expert offloading, while reducing host-to-device traffic by 73.6 percent to 77.1 percent.
- Abstract（参考訳）: 投機的復号化は、1つのターゲットモデルフォワードパスにおけるドラフトトークンのツリーを検証する。
しかし、Mixix-of-experts (MoE) ターゲットでは、これらのノードの小さなサブセットだけが受け入れられた出力に達するにもかかわらず、すべてのツリーノードによって選択された専門家の結合を並列検証することで活性化することができる。
トークンのワークロードを減らすことは、専門家のユニオンを比例的に縮小する必要はないし、オフロードの下では、転送トラフィックもキャッシュ常駐に依存する。
本稿では,AcceptMoEを提案する。AcceptMoEは,ターゲットルータスコアとオフライン推定コミットメント確率を組み合わせ,各検証ブロックの有資格専門家数を自動調整し,ユーザ指定のエキスパート予算を不要にする検証側エキスパートセレクタである。
オフロード下では、AcceptMoEは、自然なルートを予測したり、対応する専門家の重みをプリフェッチする代わりに、キャッシュ常駐に関する専門家の資格を条件とする。
3つのMoEターゲットと4つのベンチマークにまたがる12のモデルタスクペアのモデル分布は、制約されたターゲット-専門家の適性によって変化するが、AcceptMoEの平均精度はERGLE-3の投機的復号法よりも0.27パーセント低い。
SGLangをバッチサイズ1で開発したSGLangは、このベースラインのスループットの1.290倍、GPUメモリのすべての専門家の重み付け、物理的専門家のオフロード時の2.06倍、ホスト間トラフィックの73.6%から77.1%の削減を実現している。
関連論文リスト
- ACE: Adaptive Calibration-Free Expert Skipping for MoE-based LLMs [15.24786135265898]
Mixture-of-Experts (MoE)アーキテクチャは、大規模言語モデル(LLM)のスケーリングに効率的なパラダイムを提供する。
本稿では,トークン適応型エキスパートスキップのためのトレーニングフリー,キャリブレーションフリー,チェックポイント保存フレームワークであるACEを提案する。
論文 参考訳（メタデータ） (2026-09-04T14:56:00Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - Meta-Learning Where to Allocate Experts: Task-Conditioned Layer-Wise Compression for MoEs [8.622261628194893]
Mixture-of-Experts (MoE)モデルは、各トークンを専門家ネットワークのサブセットにルーティングし、トークンごとのスパースを維持しながらキャパシティを増大させる。
本稿では,各レイヤに対して,専門家保持閾値と有界ルーティングバイアスを予測可能なサポートセットコントローラであるMetaNetを提案する。
論文 参考訳（メタデータ） (2026-08-27T06:01:46Z) - Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。
我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。
トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
論文 参考訳（メタデータ） (2026-08-11T02:40:58Z) - DraftExpert: Expansion-Aware Self-Speculative Decoding for End-Device MoE Inference [0.4944564023471818]
DraftExpertは、専門家オフロードされたMoE推論のための拡張対応の自己投機的デコーディングフレームワークである。
DeepSeek-V2-LiteとMoonlight-16B-A3BのCPU-GPUおよびFlash-NPUオフロードでは、DraftExpertはデコードスループットを平均1.45倍改善する。
論文 参考訳（メタデータ） (2026-07-27T13:44:42Z) - Less Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts [34.20364644493512]
本稿では,予測限界エキスパートアクティベーションコストをドラフト選択に組み込む,コストアウェアな投機的復号化フレームワークを提案する。
我々は、DeepSeek-V3.1 (671B)、Qwen3-235B-A22B、GPT-OSS-120Bを含む3つの大規模MoEモデル上でtextscEcoSpecを評価する。
論文 参考訳（メタデータ） (2026-07-14T12:22:55Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - dMoE: dLLMs with Learnable Block Experts [71.572316901001]
単純なブロックレベルのMoEフレームワークであるdMoEを提案する。
また,dMoEは,推論中に一意に活性化される専門家の数を著しく減少させることを示した。
また、メモリ使用量を76.64%から79.84%に減らし、1.14$times$から1.66$times$エンドツーエンドのレイテンシ高速化を実現している。
論文 参考訳（メタデータ） (2026-05-29T06:03:50Z) - Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding [15.040000425985324]
ツリーベースの投機的復号化は、複数のドラフト候補を並列に検証することで自己回帰生成を加速するが、この利点はスパース・ミックス・オブ・エクササイズ(MoE)モデルでは弱まる。
我々は,MoE投機的復号化のためのトレーニング不要,ハイパーパラメータフリー,ロスレス適応検証手法EVICTを提案する。
EVICTは、目標検証の前にドラフトツリーを切断し、コスト効率の良いプレフィックスのみを保持することで、検証済みのトークンを全てカウントする。
論文 参考訳（メタデータ） (2026-05-01T01:52:01Z) - ERMoE: Eigen-Reparameterized Mixture-of-Experts for Stable Routing and Interpretable Specialization [13.182475975397251]
ERMoEは、学習したゲーティングログを"Eigenbasis Score"に置き換えるスパースなMoE変換器である
ERMoE は ImageNet 分類と クロスモーダル画像テキスト検索ベンチマークにおける最先端の精度を実現する。
3D MRI変異体(ERMoE-ba)は、脳年齢予測の精度を7%以上改善し、解釈可能な専門家の専門化をもたらす。
論文 参考訳（メタデータ） (2025-11-14T05:31:37Z) - MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。
静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文 参考訳（メタデータ） (2025-10-13T03:12:46Z) - Ban&Pick: Ehancing Performance and Efficiency of MoE-LLMs via Smarter Routing [36.625445642399136]
Ban&Pickは、よりスマートなルーティングのためのポストトレーニング、プラグイン・アンド・プレイ戦略である。
パフォーマンスに大きく影響した重要な専門家を発見し、強化する。
トレーニングやアーキテクチャの変更なしに、無償のパフォーマンス向上と推論アクセラレーションを提供する。
論文 参考訳（メタデータ） (2025-09-08T05:38:10Z) - HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。
キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。
HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-11-03T04:25:46Z) - MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。
MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
論文 参考訳（メタデータ） (2024-10-09T18:01:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。