論文の概要: DeaMoE: Efficient MoE Structure for Fast Small-Batch Decoding

• arxiv url: http://arxiv.org/abs/2608.14385v1
• Date: Fri, 14 Aug 2026 15:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.419547
• Title: DeaMoE: Efficient MoE Structure for Fast Small-Batch Decoding
• Title（参考訳）: DeaMoE: 高速小バッチデコードのための効率的なMoE構造
• Abstract要約: DeaMoEはデコード効率のよいMoEアーキテクチャで、専門家を複数の部門に分けて構成する。 バニラのMoEと比較して、DeaMoEはステップごとのロード重量を最大50.9%削減し、最大1.33のエンドツーエンドTPOTスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 6.518553233393689
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mixture-of-Experts (MoE) models have been widely adopted in real-time interactive applications such as coding assistants, real-time audio-video interaction systems. To meet the extremely low response latency requirements of these scenarios, practitioners commonly employ small-batch decoding, under which MoE inference becomes memory-bound and is severely bottlenecked by expert weight loading. However, this bottleneck has received limited attention, and existing solutions such as post-training weight compression or fine-grained expert design during pre-training either degrade model accuracy or introduce additional computation and communication overhead. To tackle this issue, we propose DeaMoE, a decoding-efficient MoE architecture, in which the experts are grouped into several departments, and the experts belonging to the same department share most parameters since they come from the same professional field, and additionally each expert contains a few private parameters to reflect its uniqueness. Moreover, we design customized two-stage routing strategy for DeaMoE to avoid redundant loading, under which DeaMoE greatly improves the efficiency during LLM decoding. Compared with vanilla MoE, DeaMoE reduces per-step loaded weights by up to 50.9% and achieves up to 1.33 end-to-end TPOT speedup for the pre-trained 7B model on A40, and up to 2.00x and 1.97x peak speedup for DeepSeek-V3 on A40 and H100 in microbenchmarks.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、コーディングアシスタントやリアルタイムオーディオビデオインタラクションシステムといったリアルタイムインタラクティブアプリケーションに広く採用されている。 これらのシナリオの応答遅延の極めて低い要件を満たすために、実践者は一般的に小さなバッチのデコードを使用し、そこではMoE推論がメモリバウンドになり、専門家の重み付けによって著しくボトルネックとなる。 しかし、このボトルネックは、訓練後の重量圧縮や訓練前のモデルの精度を低下させたり、追加の計算や通信オーバーヘッドを導入したりする際に、既存のソリューションである。 この問題に対処するため、我々は、専門家が複数の部門にグループ化され、同一部門に属する専門家が同じ専門分野から来たため、ほとんどのパラメータを共有している復号効率の良いMoEアーキテクチャであるDeaMoEを提案し、また、各専門家は、その特異性を反映したいくつかのプライベートパラメータを含む。 さらに,DeaMoEの2段階ルーティング方式を設計して冗長なロードを回避することにより,LLMデコーディング時の効率を大幅に向上する。 バニラのMoEと比較して、DeaMoEはステップごとのロード重量を最大50.9%減らし、A40の事前訓練された7Bモデルでは最大1.33 TPOTスピードアップ、A40とH100のDeepSeek-V3では最大2.00xと1.97倍のピークスピードアップを達成する。

関連論文リスト

• dMoE: dLLMs with Learnable Block Experts [71.572316901001]
  単純なブロックレベルのMoEフレームワークであるdMoEを提案する。 また,dMoEは,推論中に一意に活性化される専門家の数を著しく減少させることを示した。 また、メモリ使用量を76.64%から79.84%に減らし、1.14$times$から1.66$times$エンドツーエンドのレイテンシ高速化を実現している。
  論文  参考訳（メタデータ） (2026-05-29T06:03:50Z)
• PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference [17.441141633991197]
  本稿では,2つの重要なイノベーションを通じて高精度かつ効率的な推論を実現する,トレーニング不要なMoE圧縮手法であるPuzzleMoEを紹介する。 第一に、PuzzleMoEは要素単位の重量冗長性と特殊化を識別してスパースエキスパートマージを行う。 第二に、バイナリマスクとサインの保存のオーバーヘッドを避けるために、PuzzleMoEは未使用の指数ビットを再利用するビットパック符号化方式を導入した。
  論文  参考訳（メタデータ） (2025-11-06T20:53:02Z)
• MoBiLE: Efficient Mixture-of-Experts Inference on Consumer GPU with Mixture of Big Little Experts [17.518573710849513]
  MoBiLEは、プラグイン・アンド・プレイのオフロードベースのMoE推論フレームワークで、大手専門家のテキストミキサーを備えている。 MoBiLEは、コンシューマGPUシステムのベースラインと比較して1.60倍から1.72倍のスピードアップを実現し、精度の劣化は無視できる。
  論文  参考訳（メタデータ） (2025-10-14T10:22:44Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• SlimMoE: Structured Compression of Large MoE Models via Expert Slimming and Distillation [82.53411922988039]
  SlimMoEは、大規模なMoEモデルをより小さく効率的な変種に変換するための多段階圧縮フレームワークである。 このフレームワークを用いて、Phi 3.5-MoE (41.9Bトータル/6.6Bアクティベートパラメータ)を圧縮し、Phi-mini-MoE (7.6Bトータル/2.4Bアクティベートパラメータ)とPhi-tiny-MoE (3.8Bトータル/1.1Bアクティベートパラメータ)を生成する。 実験により、圧縮されたモデルが他のモデルと同等の大きさのモデルよりも優れ、より大きなモデルと競合し続けていることが示された。
  論文  参考訳（メタデータ） (2025-06-23T07:15:59Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• AdapMoE: Adaptive Sensitivity-based Expert Gating and Management for Efficient MoE Inference [13.263938935671646]
  AdapMoEは、効率的なMoE推論のためのアルゴリズムとシステムの共同設計フレームワークである。 AdapMoEは、オンデマンドのロードオーバーヘッドを減らすために、アダプティブなエキスパートゲーティングと管理機能を備えている。 AdapMoEは既存の技術より一貫して優れており、アクティベートされた専門家の平均数が25%減少し、精度を低下させることなく1.35倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2024-08-19T03:27:15Z)
• Task-Specific Expert Pruning for Sparse Mixture-of-Experts [105.20605021416276]
  Mixture-of-Experts (MoE) モデルは大規模な事前トレーニングには強力である。 MoEはクラウドやモバイル環境にデプロイするのは難しい。 本稿では,目標下流タスクの非専門的専門家を段階的に降ろす方法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T07:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。