論文の概要: CMoE: Converting Mixture-of-Experts from Dense to Accelerate LLM Inference

• arxiv url: http://arxiv.org/abs/2502.04416v2
• Date: Sat, 24 May 2025 05:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:53.302662
• Title: CMoE: Converting Mixture-of-Experts from Dense to Accelerate LLM Inference
• Title（参考訳）: CMoE:Mixture-of-ExpertsをDenseからAccelerate LLM推論に変換する
• Authors: Zehua Pei, Lancheng Zou, Hui-Ling Zhen, Xianzhi Yu, Wulong Liu, Sinno Jialin Pan, Mingxuan Yuan, Bei Yu,
• Abstract要約: CMoEは、高密度言語モデルをトレーニングなしで、ミックス・オブ・エキスパート(MoE)に迅速に変換するフレームワークである。 実験により、75%の活性化比で、パープレキシティの点で顕著な結果が得られることが示された。 パラメータの25%をアクティベートするCMoE構成は、追加のトレーニングなしで使用可能なパープレキシティを保ちながら、エンドツーエンドのレイテンシを1.5倍削減する。
• 参考スコア（独自算出の注目度）: 33.871080938643566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling large language models (LLMs) improves performance but dramatically increases inference costs. The feed-forward network (FFN), consuming approximately 70\% of inference compute, represents a critical bottleneck, particularly in large batch size scenarios. While mixture-of-experts (MoE) architectures leverage activation sparsity for efficiency, converting existing dense models to MoEs traditionally requires resource-intensive continual pre-training. We present CMoE, a framework that rapidly transforms dense LLMs into MoEs without training. The key innovation lies in analyzing FFN neuron activations to partition them into shared (always active) and routed experts. Routed neurons are clustered using a balanced assignment algorithm, and a differentiable router is constructed analytically from activation statistics, enabling immediate deployment or optional lightweight fine-tuning. Experiments demonstrate that, with activation ratio of 75\%, it achieves remarkable results, delivering lossless precision in terms of perplexity while still maintaining a 5\% acceleration. Further experiments reveal that a CMoE configuration activating just 25\% of parameters reduces end-to-end latency by 1.5x while preserving usable perplexity without additional training. Moreover, a brief LoRA fine-tuning process (requiring only 1 hour and 2,000 samples) successfully recovers over 76\% of the dense model's downstream accuracy. By effectively balancing performance and efficiency, CMoE offers a viable path forward for deploying LLMs in real-world scenarios where computational resources are limited. We make our code publicly available at https://github.com/JarvisPei/CMoE.
• Abstract（参考訳）: 大規模言語モデル(LLM)のスケーリングではパフォーマンスが向上するが、推論コストが劇的に向上する。 約70%の推論計算を消費するフィードフォワードネットワーク(FFN)は、特に大規模なバッチサイズシナリオにおいて重要なボトルネックとなっている。 ミックス・オブ・エクササイズ(Mix-of-experts, MOE)アーキテクチャは、アクティベーション・スペシャリティを効率に活用するが、既存の高密度モデルをMoEに変換するには、従来、リソース集約的な事前トレーニングが必要である。 我々は,高密度LCMをトレーニングなしで迅速にMoEに変換するフレームワークであるCMoEを提案する。 鍵となるイノベーションは、FFNニューロンの活性化を分析して、共有(常にアクティブ)とルーティングされた専門家に分割することである。 経路ニューロンはバランスの取れた割り当てアルゴリズムを用いてクラスタ化され、アクティベーション統計から微分可能なルータが解析的に構築され、即時展開やオプションの軽量微調整が可能になる。 実験では、活性化比75\%で顕著な結果が得られ、5\%の加速を維持しながら、パープレキシティの点で損失のない精度が得られている。 さらなる実験では、パラメータの25%を活性化するCMoE構成は、追加のトレーニングなしで使用可能なパープレキシティを保ちながら、エンドツーエンドのレイテンシを1.5倍削減する。 さらに、短いLoRA微調整プロセス(わずか1時間2000サンプルしか必要としない)は、密度の高いモデルの下流精度の66%以上を回復することに成功した。 性能と効率を効果的にバランスさせることで、CMoEは計算資源が限られている現実のシナリオでLLMをデプロイするための実行可能なパスを提供する。 コードをhttps://github.com/JarvisPei/CMoE.comで公開しています。

関連論文リスト

• Mixture of Routers [4.248666380057258]
  我々は、Mixture of Routers (MoR) と呼ばれる効率的な微調整法を提案する。 MoRはジョイントセレクションに複数のサブルータを使用し、学習可能なメインルータを使用してサブルータの重みを決定する。 その結果、MoRは、ほとんどのタスクにおいてベースラインモデルよりも優れており、平均的なパフォーマンス改善は1%であることがわかった。
  論文  参考訳（メタデータ） (2025-03-30T08:39:09Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• BAM! Just Like That: Simple and Efficient Parameter Upcycling for Mixture of Experts [41.83123857437985]
  大規模な体制でゼロからMoEを訓練することは違法に高価である。 本稿では,BAM(Branch-Attend-Mix)を提案する。 5億9000万から20億のパラメータのシードモデルに関する実験では、BAMがパープレキシティとダウンストリームのタスクパフォーマンスの両方でベースラインを超えていることが示されている。
  論文  参考訳（メタデータ） (2024-08-15T17:19:12Z)
• Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
  Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。 現在のMoEモデルはパラメータ非効率をしばしば表示する。 我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:25:13Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• MoE-LLaVA: Mixture of Experts for Large Vision-Language Models [49.32669226551026]
  本稿では,LVLMのための簡易かつ効果的なトレーニング戦略であるMoE-Tuningを提案する。 MoE-LLaVAはMoEベースのスパースLVLMアーキテクチャであり、ルータを通じてトップkの専門家のみをユニークに活性化する。 様々な視覚的理解と物体幻覚のベンチマークにおいて,MoE-LLaVAの顕著な性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-01-29T08:13:40Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。