論文の概要: Less is MoE: Trimming Experts in Domain-Specialist Language Models

• arxiv url: http://arxiv.org/abs/2606.05538v1
• Date: Thu, 04 Jun 2026 00:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.453157
• Title: Less is MoE: Trimming Experts in Domain-Specialist Language Models
• Title（参考訳）: MoE:ドメイン特化言語モデルで専門家をトリミングする
• Authors: Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller,
• Abstract要約: Mixture-of-Experts (MoE)モデルは条件付き計算によって強力なパフォーマンスを実現するが、その大きなパラメータフットプリントはデプロイメント上の課題を引き起こす。 重要な機能は専門家に分散しているが、FFNのスパース中間次元に集中している。 FFN内で動作するFisher-MoEを提案する。
• 参考スコア（独自算出の注目度）: 4.689356705107421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models achieve strong performance through conditional computation, but their large parameter footprint poses deployment challenges. Prior MoE compression approaches catastrophically fail when evaluated on general-purpose benchmarks beyond commonsense reasoning. We trace this failure to the granularity of compression: important capabilities are distributed across experts but concentrated in FFN sparse intermediate dimensions. To identify these dimensions, we use Fisher importance which outperforms activation-, router-score-, and magnitude-based alternatives, and identifies tiny sets of task-critical dimensions: in Qwen1.5-MoE, removing as few as 12 of 1.35M routed-FFN intermediate dimensions collapses GSM8K accuracy while largely preserving factual-knowledge performance. Building on this, we propose Fisher-MoE, which operates within FFN to remove intermediate dimensions ranked by Fisher importance. At the same 50% MoE compression ratio, Fisher-MoE preserves model capability, while reducing weight memory by ~45% and improving inference throughput by 21%. These findings suggest intermediate dimension granularity is an effective unit for both compression and ranking where capability concentrates in MoE models.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは条件付き計算によって強力なパフォーマンスを実現するが、その大きなパラメータフットプリントはデプロイメント上の課題を引き起こす。 従来のMoE圧縮は、コモンセンス推論を超える汎用ベンチマークで評価すると破滅的に失敗する。 重要な機能は専門家に分散しているが、FFNのスパース中間次元に集中している。 これらの次元を識別するために、アクティベーション、ルータスコア、マグニチュードベースの代替よりも優れており、Qwen1.5-MoEでは、1.35Mの経路付きFFN中間次元のうち12個しか除去できないタスククリティカルな次元の小さなセットを識別する。 そこで本研究では,FFN内で動作するFisher-MoEを提案する。 同じ50%のMoE圧縮比で、Fisher-MoEはモデルの能力を維持し、重量記憶を約45%削減し、推論スループットを21%改善した。 これらの結果から, 中間次元の粒度は, MoEモデルに集中する圧縮とランク付けの両方に有効な単位であることが示唆された。

関連論文リスト

• The $qs$ Inequality: Quantifying the Double Penalty of Mixture-of-Experts at Inference [0.8986240899504297]
  Mixture-of-Experts (MoE)モデルは、低トレーニングのFLOPにおいて高い品質を提供するが、この効率はしばしば推論時に消える。 復号化時に構造的にMoEアーキテクチャに不利な二重ペナルティを識別する。 我々は、MoEが品質整合密度モデルに対して構造的に不利なときを識別する予測的基準である$qs$不等式(inequality)を導入する。
  論文  参考訳（メタデータ） (2026-03-09T21:48:04Z)
• Effective MoE-based LLM Compression by Exploiting Heterogeneous Inter-Group Experts Routing Frequency and Information Density [30.94369556247692]
  Mixture-of-Experts (MoE) ベースのLarge Language Models (LLM) は優れたパフォーマンスを実現している。 複数の専門家ネットワークを格納することによる大量のメモリオーバーヘッドは、実践的なデプロイメントを著しく妨げます。 我々は、不均一なルーティング周波数と情報密度を利用して、MoE圧縮のための効果的なフレームワークRFID-MoEを提案する。
  論文  参考訳（メタデータ） (2026-02-10T01:24:28Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• DualSparse-MoE: Coordinating Tensor/Neuron-Level Sparsity with Expert Partition and Reconstruction [15.261077484922616]
  Mixture of Experts (MoE) はLarge Language Models (LLM) の主流アーキテクチャとなった。 トレーニング済みMoEモジュールにおけるテンソルとニューロンの二重間隔を精度と効率の両立の鍵因子として同定した。 本稿では,動的テンソルレベル低下と静的ニューロンレベル再構成を統合する推論システムであるDualSparse-MoEを提案する。
  論文  参考訳（メタデータ） (2025-08-25T18:08:32Z)
• Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
  MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。 本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:50:42Z)
• Efficient Model Compression Techniques with FishLeg [30.69238973086908]
  FishLegはFisher-Legendre(FishLeg)に基づく新しい二階刈り法である FishLegの心臓部は、逆FIMの作用を補うメタラーニングアプローチである。 FishLegは,2つの共通ベースラインに対して高い,あるいは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-12-03T09:42:16Z)
• Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
  我々は、Mixture-of-Experts Large Language Model (MoE-LLMs) のためのトレーニング不要なMixture-Compressorを提案する。 我々のMCは静的量子化と動的プルーニングを統合し、より少ない精度でMoE-LLMの極端な圧縮を実現する。 例えば、2.54ビットでは、MCは76.6%を圧縮し、平均精度損失は3.8%である。
  論文  参考訳（メタデータ） (2024-10-08T18:09:38Z)
• Rethinking Mobile Block for Efficient Attention-based Models [60.0312591342016]
  本稿では、パラメータ、FLOP、性能をトレードオフしながら、高密度予測のための現代的で効率的で軽量なモデルを開発することに焦点を当てる。 Inverted Residual Block (IRB) は軽量CNNの基盤として機能するが、注目に基づく研究ではその存在は認められていない。 我々はCNNベースのIRBをアテンションベースモデルに拡張し、軽量モデル設計のためのMMB(One-Residual Meta Mobile Block)を抽象化する。
  論文  参考訳（メタデータ） (2023-01-03T15:11:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。