論文の概要: On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating

• arxiv url: http://arxiv.org/abs/2505.10860v1
• Date: Fri, 16 May 2025 04:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.078171
• Title: On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating
• Title（参考訳）: DeepSeekMoE:共有専門家の統計的メリットと正規化シグモイドゲーティングについて
• Authors: Huy Nguyen, Thong T. Doan, Quang Pham, Nghi D. Q. Bui, Nhat Ho, Alessandro Rinaldo,
• Abstract要約: DeepSeekMoEは、共有専門家戦略の展開と正規化されたシグモイドゲーティングメカニズムの2つのユニークな特徴から際立っている。 本研究では, 共有専門家戦略と正規化シグモイドゲーティングの両方において, サンプル効率の利得を明らかにするために, 専門家推定タスクの収束解析を行う。
• 参考スコア（独自算出の注目度）: 75.29576838162714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture of experts (MoE) methods are a key component in most large language model architectures, including the recent series of DeepSeek models. Compared to other MoE implementations, DeepSeekMoE stands out because of two unique features: the deployment of a shared expert strategy and of the normalized sigmoid gating mechanism. Despite the prominent role of DeepSeekMoE in the success of the DeepSeek series of models, there have been only a few attempts to justify theoretically the value of the shared expert strategy, while its normalized sigmoid gating has remained unexplored. To bridge this gap, we undertake a comprehensive theoretical study of these two features of DeepSeekMoE from a statistical perspective. We perform a convergence analysis of the expert estimation task to highlight the gains in sample efficiency for both the shared expert strategy and the normalized sigmoid gating, offering useful insights into the design of expert and gating structures. To verify empirically our theoretical findings, we carry out several experiments on both synthetic data and real-world datasets for (vision) language modeling tasks. Finally, we conduct an extensive empirical analysis of the router behaviors, ranging from router saturation, router change rate, to expert utilization.
• Abstract（参考訳）: 専門家の混合(MoE)メソッドは、最近のDeepSeekモデルを含む、ほとんどの大きな言語モデルアーキテクチャにおいて重要なコンポーネントである。 他のMoE実装と比較して、DeepSeekMoEは2つのユニークな特徴がある。 DeepSeekシリーズの成功におけるDeepSeekMoEの顕著な役割にもかかわらず、共有専門家戦略の価値を理論的に正当化する試みはわずかである。 このギャップを埋めるために、統計的観点から、DeepSeekMoEのこれらの2つの特徴に関する包括的な理論的研究を行う。 我々は,共有専門家戦略と正規化シグモイドゲーティングの両方において,サンプル効率の向上を強調するために,専門家推定タスクの収束解析を行い,専門家とゲーティング構造の設計に関する有用な洞察を提供する。 理論的知見を実証的に検証するために,言語モデリングタスクのための合成データと実世界のデータセットの両方について,いくつかの実験を行った。 最後に, ルータ飽和度, ルータ変更率, 専門家の利用率など, ルータの挙動を広範囲に解析する。

関連論文リスト

• Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
  大規模MOEモデルにおける領域の特殊化と専門的冗長性について検討する。 本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 提案手法は,DeepSeek-R1を完全かつ半分のエキスパートで,同じメモリ予算で同等の性能と2.99タイムのスループットを達成できる。
  論文  参考訳（メタデータ） (2025-04-09T11:34:06Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions [29.130355774088205]
  Hierarchical Mixture of Experts (HMoE)は、複雑な入力の処理とターゲットタスクのパフォーマンス向上に長けている。 我々の分析では,従来のHMoEフレームワークにおけるSoftmaxゲーティングよりもLaplaceゲーティング関数を使うことの利点を強調した。 様々なシナリオにまたがる実証的な検証は、これらの理論的な主張を支持している。
  論文  参考訳（メタデータ） (2024-10-03T19:28:52Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models [26.447210565680116]
  本稿では,DeepSeekMoEアーキテクチャを究極的専門家専門化に向けて提案する。 1) 専門家を$mN$に細分化し、そこから$mK$を活性化し、活性化された専門家のより柔軟な組み合わせを可能にする。 We show that DeepSeekMoE achieves comparable performance with GShard 2.9B。
  論文  参考訳（メタデータ） (2024-01-11T17:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。