論文の概要: Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2604.19835v1
• Date: Tue, 21 Apr 2026 05:53:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.635804
• Title: Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts
• Title（参考訳）: エキスパートアップサイクリング - Mixture-of-Expertsの計算効率の高いフロンティアのシフト
• Authors: Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin,
• Abstract要約: Mixture-of-Experts (MoE) は大規模言語モデルをスケールするための主要なアーキテクチャとなっている。 本稿では,専門家数を増やすことで,MoE容量を段階的に拡大する専門家アップサイクリングを提案する。 筆者らの7B-13B総合パラメータ実験では,GPU時間の32%を節約しながら,検証損失の固定サイズベースラインと一致した。
• 参考スコア（独自算出の注目度）: 27.40662720929157
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Mixture-of-Experts (MoE) has become the dominant architecture for scaling large language models: frontier models routinely decouple total parameters from per-token computation through sparse expert routing. Scaling laws show that under fixed active computation, model quality scales predictably with total parameters, and MoEs realize this by increasing expert count. However, training large MoEs is expensive, as memory requirements and inter-device communication both scale with total parameter count. We propose expert upcycling, a method for progressively expanding MoE capacity by increasing the number of experts during continued pre-training (CPT). Given a trained E-expert model, the upcycling operator constructs an mE-expert model through expert duplication and router extension while holding top-K routing fixed, preserving per-token inference cost. Duplication provides a warm initialization: the expanded model inherits the source checkpoint's learned representations, starting from a substantially lower loss than random initialization. Subsequent CPT then breaks the symmetry among duplicated experts to drive specialization. We formalize the upcycling operator and develop a theoretical framework decomposing the quality gap into a capacity term and an initialization term. We further introduce utility-based expert selection, which uses gradient-based importance scores to guide non-uniform duplication, more than tripling gap closure when CPT is limited. In our 7B-13B total parameter experiments, the upcycled model matches the fixed-size baseline on validation loss while saving 32% of GPU hours. Comprehensive ablations across model scales, activation ratios, MoE architectures, and training budgets yield a practical recipe for deploying expert upcycling, establishing it as a principled, compute-efficient alternative to training large MoE models from scratch.
• Abstract（参考訳）: ミキチャー・オブ・エクササイズ(MoE)は、大規模な言語モデルをスケールするための支配的なアーキテクチャとなっている。フロンティアモデルは、スパース専門家のルーティングを通じて、トーケンの計算から総パラメータを日常的に分離する。 スケーリング法則は、固定されたアクティブな計算の下で、モデル品質のスケールが総パラメータで予測可能であることを示し、MoEは専門家数を増やしてこれを実現している。 しかし、メモリ要求とデバイス間通信の両方が合計パラメータ数でスケールするため、大規模なMoEのトレーニングは高価である。 本稿では,CPT(Continuous Pre-training)における専門家数を増やすことにより,MoE容量を段階的に拡大する専門家アップサイクリングを提案する。 トレーニングされたE-Expertモデルが与えられた場合、アップサイクル演算子は、専門家の重複とルータ拡張を通じてmE-Expertモデルを構築し、トップKルーティングを固定し、トークン当たりの推論コストを保存する。 拡張されたモデルは、ランダム初期化よりもかなり低い損失から始まり、ソースチェックポイントの学習された表現を継承する。 その後のCPTは、重複した専門家の間で対称性を破り、特殊化を促進する。 本稿では,アップサイクリング演算子を形式化し,品質ギャップをキャパシティ項と初期化項に分解する理論的枠組みを開発する。 さらに,CPTが制限された場合の三重項ギャップ閉鎖よりも,勾配に基づく重要度スコアを用いて非一様重複を導出するユーティリティベースのエキスパートセレクションを導入する。 筆者らの7B-13B総合パラメータ実験では,GPU時間の32%を節約しながら,検証損失の固定サイズベースラインと一致した。 モデルスケール、アクティベーション比率、MoEアーキテクチャ、トレーニング予算にわたる包括的な改善は、専門家のアップサイクリングをデプロイするための実践的なレシピを生み出し、大きなMoEモデルをスクラッチからトレーニングするための、原則的で計算効率のよい代替品として確立します。

関連論文リスト

• Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling [64.1662577506775]
  クラスタ対応のアップサイクリングは専門家の対称性を破り、データ分散に合わせて早期の特殊化を促進する。 CLIP ViT-B/32 と ViT-B/16 で評価すると、クラスタ対応の Upcycling は既存のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-15T05:52:25Z)
• Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
  Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。 私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
  論文  参考訳（メタデータ） (2025-09-30T16:56:44Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。