論文の概要: BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding

• arxiv url: http://arxiv.org/abs/2609.36222v1
• Date: Mon, 28 Sep 2026 20:20:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.000215
• Title: BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding
• Title（参考訳）: BASE: 効率的なMoEデコーディングのための予測除去誤差を用いたエキスパートのバッチアウェア選択
• Abstract要約: 大規模言語モデルはますます高価になる。 大規模サービスシステムでは、モデル重みの転送によって自己回帰復号化がボトルネックとなることが多い。 入力トークン毎のエキスパート除去コストを推定する軽量線形予測器を開発した。
• 参考スコア（独自算出の注目度）: 13.806111695734716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly expensive to serve. In large-scale serving systems, autoregressive decoding is often bottlenecked by transferring model weights from accelerator high-bandwidth memory into on-chip SRAM. Mixture-of-experts (MoE) models reduce computation by activating only a small subset of experts per token, but this sparsity does not translate directly to batched decoding. Different requests select different experts; therefore, the combined active set across many concurrent requests can span a substantial fraction of the expert pool and require significantly more expert weights to be transferred. Most expert-reduction techniques make retention decisions independently for each token and therefore do not address this batch-level expansion. More recently, batch-aware methods have attempted to coordinate expert use across concurrent requests and reuse experts already fetched for the batch. Yet their selection criteria are based primarily on router rankings or expert statistics collected during calibration. Consequently, these criteria are not directly tied to the output error caused by dropping an expert, nor do they capture how an expert's contribution changes across tokens at inference time. We instead rank experts according to how much their removal would change the MoE-layer output. To apply this criterion during serving, we train a lightweight linear predictor during calibration that estimates the expert removal cost for each incoming token, and develop custom GPU kernels for cost prediction and expert selection. Across three MoE architectures, BASE improves the quality-efficiency tradeoff without retraining. On Qwen3-30B-A3B, it improves average accuracy by 29.5 points over the strongest baseline at comparable throughput under a tight expert budget. At a higher expert budget, it is 60% faster than dense inference while remaining within 0.4 accuracy points.
• Abstract（参考訳）: 大規模言語モデルはますます高価になる。 大規模サービスシステムでは、アクセル高帯域メモリからオンチップSRAMへモデル重みを転送することで、自己回帰復号化がボトルネックとなることが多い。 Mixture-of-experts (MoE) モデルはトークン当たりのエキスパートの小さなサブセットのみを活性化することで計算を減少させるが、このスパース性はバッチデコーディングに直接変換しない。 異なるリクエストは、異なる専門家を選択するため、多くの同時リクエストにまたがる統合されたアクティブセットは、専門家プールのかなりの部分にまたがることができ、転送される専門的な重みをはるかに多く必要とします。 ほとんどの専門家還元技術はトークンごとに独立して保持決定を行うため、バッチレベルの拡張には対処しない。 最近では、バッチ対応のメソッドが、並列リクエスト間で専門家の使用を調整し、すでにバッチに取得されている専門家を再利用しようと試みている。 しかし、それらの選択基準は、主にキャリブレーション中に収集されたルータのランキングや専門家統計に基づいている。 その結果、これらの基準は、専門家を落として発生する出力エラーに直接結び付けられず、また、専門家のコントリビューションが、推論時にトークン間でどのように変化するかをキャプチャもしない。 その代わりに、MoE層の出力がどの程度変更されるかによって専門家をランク付けします。 サービス中にこの基準を適用するために、キャリブレーション中に軽量な線形予測器をトレーニングし、入力トークンごとに専門家除去コストを推定し、コスト予測とエキスパート選択のためのカスタムGPUカーネルを開発する。 3つのMoEアーキテクチャで、BASEはトレーニングをすることなく品質と効率のトレードオフを改善している。 Qwen3-30B-A3Bでは、厳格な専門家予算の下で、最強のベースラインよりも平均精度を29.5ポイント向上させる。 高い専門家の予算では、0.4の精度ポイントに留まりながら、密度の高い推測よりも60%高速である。

関連論文リスト

• You Only Need 2/3 of the Chosen Experts: An Empirical Study of Dynamic Expert Pruning in Fine-Grained MoE LLMs [26.649134312131128]
  専門家の選択は、フィールドの操作ポイントが想定するよりもはるかに冗長である。 また、動的アロケーションは保守的な予算で動的アロケーションする余地がほとんどないこともわかりました。
  論文  参考訳（メタデータ） (2026-09-22T07:39:35Z)
• Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models [3.749501286035187]
  再正規化は暗黙的に専門家のアウトプットゲインをトレーニングのトップ$k$に校正することを示す。 再正常化を完全に除去することは破滅的であり、適切な基準質量を維持することが重要であることを示す。
  論文  参考訳（メタデータ） (2026-09-04T00:11:28Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• AlphaQ: Calibration-Free Bit Allocation for Mixture-of-Experts Quantization [104.10572215799239]
  混合精度量子化は、異なるビット幅を異なる専門家に割り当てることで、フットプリントを大幅に削減することができる。 既存のアプローチは、専門家の重要度を推定し、ビット割り当てを決定するためにキャリブレーションデータに依存している。 我々は,MoE量子化のためのキャリブレーションフリーなビット割り当て手法であるAlphaQを提案する。
  論文  参考訳（メタデータ） (2026-06-03T15:03:18Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• MoE-Spec: Expert Budgeting for Efficient Speculative Decoding [4.064682810747041]
  本稿では,メモリコストから投機深度を分離する訓練不要な専門家予算化手法を提案する。 複数のモデルスケールとデータセットにわたる実験により、この手法は最先端の投機的デコードベースラインよりも10-30%高いスループットが得られることが示された。
  論文  参考訳（メタデータ） (2026-02-17T22:02:36Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• Gaussian Experts Selection using Graphical Models [7.530615321587948]
  ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。 我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
  論文  参考訳（メタデータ） (2021-02-02T14:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。