論文の概要: MoE Lens -- An Expert Is All You Need

• arxiv url: http://arxiv.org/abs/2603.05806v1
• Date: Fri, 06 Mar 2026 01:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.881301
• Title: MoE Lens -- An Expert Is All You Need
• Title（参考訳）: MoE Lens - 専門家に必要なものすべて
• Authors: Marmik Chaudhari, Idhant Gulati, Nishkal Hundia, Pranav Karra, Shivam Raval,
• Abstract要約: エキスパートの混合(MoE)モデルは、スパース専門家のアクティベーションを通じてパラメータ効率のスケーリングを可能にする。 本稿では,2つの相補的アプローチを用いて,MoEsの専門家専門化の体系的分析を行う。
• 参考スコア（独自算出の注目度）: 0.09444932939944471
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture of Experts (MoE) models enable parameter-efficient scaling through sparse expert activations, yet optimizing their inference and memory costs remains challenging due to limited understanding of their specialization behavior. We present a systematic analysis of expert specialization in MoEs through two complementary approaches: domain-specific routing patterns and an early decoding framework that tracks expert contributions to output representations. Our analysis of the DeepSeekMoE model reveals that despite having 64 routed experts with 6 active for each layer's computation, the model predominantly relies on a few specialized experts, with the top-weighted expert's output closely approximating the full ensemble prediction. We quantitatively validate these findings through a systematic analysis of the token routing distribution, demonstrating that very few experts handle over 50\% of routing decisions across different specialized domains. Hidden state similarity between single and ensemble experts for every layer is extremely high, with some layers having cosine similarity as high as 0.95 and perplexity increasing by only 5\% when using a single expert across all three domains. Our results indicate that Mixture of Experts models exhibit concentrated expertise highlighting potential opportunities for inference optimization through targeted expert pruning while maintaining model performance and opening avenues towards studying localization of learned knowledge in these models.
• Abstract（参考訳）: エキスパートの混合モデル(MoE)は、スパース専門家のアクティベーションを通じてパラメータ効率のスケーリングを可能にするが、それらの推論とメモリコストを最適化することは、その特殊化行動の理解が限られているため、依然として困難である。 本稿では、ドメイン固有のルーティングパターンと、専門家による出力表現へのコントリビューションを追跡する早期復号化フレームワークという、2つの補完的なアプローチを通して、MoEのエキスパート専門化を体系的に分析する。 DeepSeekMoEモデルの解析によると、64のルーティングされた専門家が各レイヤの計算に6人のアクティブな専門家がいるにもかかわらず、このモデルは主に少数の専門専門家に依存しており、上位の重み付けされた専門家の出力は全アンサンブル予測を密接に近似している。 トークンルーティングの分布を体系的に分析することにより,これらの知見を定量的に検証する。 各層におけるシングル・アンサンブルの専門家とアンサンブルの専門家の隠れ状態の類似度は非常に高く、いくつかの層ではコサインの類似度が0.95まで高く、パープレキシティは3つのドメインにまたがる単一の専門家を使用するとわずか5倍に増加する。 この結果から,Mixture of Expertsモデルでは,モデル性能を維持しつつ,学習知識のローカライゼーション研究への道を開いた上で,目標とする専門家の選抜による推論最適化の可能性を強調した専門知識が提示されている。

関連論文リスト

• SD-MoE: Spectral Decomposition for Effective Expert Specialization [29.649486549025138]
  Mixture-of-Experts (MoE)アーキテクチャは、条件計算によって引き起こされる専門家の専門化を通じて、大規模言語モデルをスケールする。 一部の専門家は機能的に似ていますが、デファクト共有の専門家として機能し、効果的な能力とモデルパフォーマンスを制限します。 スペクトル空間におけるパラメータと勾配の両方を分解するスペクトル分離型MoE(SD-MoE)を提案する。
  論文  参考訳（メタデータ） (2026-02-13T03:07:26Z)
• The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models [18.428606280260187]
  エキスパートモデルの混合は、スパースルーティングによってドメインの特殊化を実現すると広く仮定されている。 我々は,個別の専門家ではなく,専門家グループレベルでのルーティング行動を分析するフレームワークであるCOMMITTEEAUDITを紹介する。 私たちは、スタンドング委員会が、ドメイン、レイヤ、およびルーティング予算をまたいだルーティングマスの大部分を一貫して捉えていることに気付きました。
  論文  参考訳（メタデータ） (2026-01-06T21:29:45Z)
• Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs [54.95810313530111]
  DERNは、専門家のプルーニングと再構築のためのタスク非依存でトレーニングなしのフレームワークである。 コモンセンス推論やMMLUベンチマークでは、50%のエキスパートスパシティでパフォーマンスを5%以上向上させる。
  論文  参考訳（メタデータ） (2025-09-12T16:09:39Z)
• On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating [75.29576838162714]
  DeepSeekMoEは、共有専門家戦略の展開と正規化されたシグモイドゲーティングメカニズムの2つのユニークな特徴から際立っている。 本研究では, 共有専門家戦略と正規化シグモイドゲーティングの両方において, サンプル効率の利得を明らかにするために, 専門家推定タスクの収束解析を行う。
  論文  参考訳（メタデータ） (2025-05-16T04:58:18Z)
• Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
  本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。 本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
  論文  参考訳（メタデータ） (2025-04-09T11:34:06Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。