論文の概要: ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

• arxiv url: http://arxiv.org/abs/2605.29350v1
• Date: Thu, 28 May 2026 04:44:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.734902
• Title: ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression
• Title（参考訳）: ConMoE: MoE圧縮のためのプロトタイプ再配置によるエキスパートプール統合
• Authors: Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang,
• Abstract要約: Mixture-of-Experts (MoE)言語モデルでは、トーケン毎の計算が削減されるが、それでもすべての専門家の保存とサービスを必要としている。 訓練後のMoE圧縮をエキスパートプール統合として定式化する。 電車のないプロトタイプリマッピングフレームワークであるConMoEを提案する。
• 参考スコア（独自算出の注目度）: 4.740789393042061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) language models reduce per-token computation but still require storing and serving all experts, making deployment memory-intensive. Existing post-training compression methods mainly shrink this cost by pruning experts or merging their weights. We formulate post-training MoE compression as expert-pool consolidation: retaining a smaller set of pretrained experts as reusable prototypes and deterministically remapping each original expert reference to one selected prototype. This view separates the reduced expert pool from the reuse structure that represents the original expert slots, and allows prototype sharing within local layer scopes while preserving the original router interface. We propose ConMoE, a train-free prototype remapping framework that selects retained experts using calibration-based contribution and replaceability signals, then redirects original expert calls to the selected prototypes without weight updates or post-compression fine-tuning. Experiments on three pretrained MoE language models show that ConMoE matches or outperforms strong pruning and merging baselines in several settings, achieving the best average score on deepseek-moe-16b-base at both 25% and 50% routed-expert reduction, while remaining competitive on Qwen3-30B-A3B and OLMoE-1B-7B-0125. Ablations indicate that deterministic reassignment is the most stable component, whereas broader cross-layer sharing and post-hoc weight fusion are model-dependent.
• Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルは、トーケン毎の計算を削減しますが、すべての専門家の保存とサービスを必要とします。 既存の訓練後圧縮法は主に、専門家を刈り取ったり、重みをマージすることでコストを削減した。 トレーニング後のMoE圧縮をエキスパートプール統合として定式化し、より小さなトレーニング済みのエキスパートセットを再利用可能なプロトタイプとして保持し、選択したプロトタイプに対する各元のエキスパート参照を決定論的に再マッピングする。 このビューは、縮小された専門家プールを、元の専門家スロットを表す再利用構造から切り離し、元のルータインターフェイスを保持しながら、ローカル層スコープ内でプロトタイプを共有することができる。 キャリブレーションに基づくコントリビューションとリプレースビリティ信号を用いて残留専門家を選別し,加重更新や圧縮後微調整を行うことなく,選択したプロトタイプに対して元のエキスパートコールをリダイレクトする,列車フリーのプロトタイプリマッピングフレームワークであるConMoEを提案する。 事前訓練された3つのMoE言語モデルの実験により、ConMoEはいくつかの環境で強い刈り取りとマージベースラインに適合し、Qwen3-30B-A3BとOLMoE-1B-7B-0125で競争力を維持しながら、ディープシークモード-16bベースで25%と50%のルートド・エキスパート・リダクションで最高のスコアを得ることができた。 アブレーションは決定論的再割り当てが最も安定な成分であることを示しているが、より広い層間共有とポストホック重み融合はモデル依存である。

関連論文リスト

• Pruning and Distilling Mixture-of-Experts into Dense Language Models [13.03679207895992]
  Mixture-of-Experts (MoE) は現在、フロンティア言語モデルの主要なアーキテクチャである。 トレーニングされたMoEを標準の完全高密度アーキテクチャに変換するための,最初の体系的フレームワークを提案する。 我々は,Qwen3-30B-A3Bを用いて,7つのスコア,5つのグループ化,および2つのスケール法を評価し,350の構成を得た。
  論文  参考訳（メタデータ） (2026-05-27T09:27:36Z)
• Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts [27.40662720929157]
  Mixture-of-Experts (MoE) は大規模言語モデルをスケールするための主要なアーキテクチャとなっている。 本稿では,専門家数を増やすことで,MoE容量を段階的に拡大する専門家アップサイクリングを提案する。 筆者らの7B-13B総合パラメータ実験では,GPU時間の32%を節約しながら,検証損失の固定サイズベースラインと一致した。
  論文  参考訳（メタデータ） (2026-04-21T05:53:33Z)
• Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling [64.1662577506775]
  クラスタ対応のアップサイクリングは専門家の対称性を破り、データ分散に合わせて早期の特殊化を促進する。 CLIP ViT-B/32 と ViT-B/16 で評価すると、クラスタ対応の Upcycling は既存のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-15T05:52:25Z)
• REAM: Merging Improves Pruning of Experts in LLMs [6.52958560748865]
  メモリ要求を減らす従来のアプローチには、重み付けと量子化がある。 本稿では,Reuter-weighted Expert Activation Merging (REAM)を提案する。 専門家を排除するのではなく、REAMはそれらをグループ化し、彼らの重みをマージし、オリジナルのパフォーマンスをよりよく保存する。
  論文  参考訳（メタデータ） (2026-04-06T02:08:09Z)
• PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference [17.441141633991197]
  本稿では,2つの重要なイノベーションを通じて高精度かつ効率的な推論を実現する,トレーニング不要なMoE圧縮手法であるPuzzleMoEを紹介する。 第一に、PuzzleMoEは要素単位の重量冗長性と特殊化を識別してスパースエキスパートマージを行う。 第二に、バイナリマスクとサインの保存のオーバーヘッドを避けるために、PuzzleMoEは未使用の指数ビットを再利用するビットパック符号化方式を導入した。
  論文  参考訳（メタデータ） (2025-11-06T20:53:02Z)
• MoNE: Replacing Redundant Experts with Lightweight Novices for Structured Pruning of MoE [12.498106165046233]
  Mixture-of-Experts (MoE)は、入力トークンごとに専門家のサブセットだけを活性化することにより、大規模言語モデルの効率的なスケーリングを可能にする。 MoNEは冗長な専門家を軽量な初心者に置き換え、効果的で堅牢なモデル圧縮を実現する。
  論文  参考訳（メタデータ） (2025-07-01T03:02:59Z)
• ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
  複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
  論文  参考訳（メタデータ） (2025-03-10T03:15:54Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。