論文の概要: On the Expressive Power of Mixture-of-Experts for Structured Complex Tasks

• arxiv url: http://arxiv.org/abs/2505.24205v1
• Date: Fri, 30 May 2025 04:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.770558
• Title: On the Expressive Power of Mixture-of-Experts for Structured Complex Tasks
• Title（参考訳）: 構造化複素問題に対する混合実験の表現力について
• Authors: Mingze Wang, Weinan E,
• Abstract要約: 低次元性と疎性という2つの構造的前提を持つ複雑なタスクのモデル化におけるMoEの表現力について検討する。 浅部MoEに対して、低次元でサポートされた関数を効率的に近似できることを証明し、次元性の呪いを克服する。 深層MoEsの場合、$cO(L)$-layer MoEs with $E$ experts per layer は、構成空間の幅を持つ$EL$ピースからなるピースワイズ関数を近似することができる。
• 参考スコア（独自算出の注目度）: 10.246977481606427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-experts networks (MoEs) have demonstrated remarkable efficiency in modern deep learning. Despite their empirical success, the theoretical foundations underlying their ability to model complex tasks remain poorly understood. In this work, we conduct a systematic study of the expressive power of MoEs in modeling complex tasks with two common structural priors: low-dimensionality and sparsity. For shallow MoEs, we prove that they can efficiently approximate functions supported on low-dimensional manifolds, overcoming the curse of dimensionality. For deep MoEs, we show that $\cO(L)$-layer MoEs with $E$ experts per layer can approximate piecewise functions comprising $E^L$ pieces with compositional sparsity, i.e., they can exhibit an exponential number of structured tasks. Our analysis reveals the roles of critical architectural components and hyperparameters in MoEs, including the gating mechanism, expert networks, the number of experts, and the number of layers, and offers natural suggestions for MoE variants.
• Abstract（参考訳）: 混合エキスパートネットワーク(MoEs)は、現代のディープラーニングにおいて顕著な効率性を示している。 経験的な成功にもかかわらず、それらの複雑なタスクをモデル化する能力の基礎となる理論的基礎は理解されていない。 本研究では,低次元性と疎性という2つの構造的前提を持つ複雑なタスクをモデル化する上で,MoEの表現力に関する体系的研究を行う。 浅部MoEに対して、低次元多様体上で支えられる関数を効率的に近似できることを証明し、次元性の呪いを克服する。 深層MoEsに対して、$\cO(L)$-layer MoEs with $E$ experts per layer は、組成空間の広い$E^L$ピースからなる、指数関数的に多くの構造化されたタスクを示すことができることを示す。 本分析では, ゲーティング機構, エキスパートネットワーク, 専門家数, レイヤー数など, MoE における重要なアーキテクチャコンポーネントとハイパーパラメータの役割を明らかにし, 自然に提案する MoE 変種について検討した。

関連論文リスト

• Mixture of Group Experts for Learning Invariant Representations [25.935653652324532]
  わずかに活性化されたMixture-of-Experts (MoE)モデルはトークン当たりの一貫した計算コストを維持しながらパラメータ数を効果的に増加させる。 スパース表現にインスパイアされた上位$kのルーティングによるバニラMOEの新しい視点を示す。 グループエキスパートの混合(Mixture of Group Experts, MOGE)と呼ばれるトップ$kのルーティング入力に対するグループスパース正規化手法を提案する。
  論文  参考訳（メタデータ） (2025-04-12T15:58:02Z)
• MoLAE: Mixture of Latent Experts for Parameter-Efficient Language Models [10.623996218106564]
  Mixture of Experts (MoE)は、Large Language Models (LLM)を効率的にスケーリングするための重要なアーキテクチャパラダイムとなっている。 我々は、共有射影を通して専門家の操作を低次元の潜在空間に変換する新しいパラメータ化であるMoLAEを導入し、それに続いて専門家固有の変換を行う。 モデル性能を保ちながら,MoLAEは複数の次元にわたる効率を著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-03-29T14:35:34Z)
• Let the Expert Stick to His Last: Expert-Specialized Fine-Tuning for Sparse Architectural Large Language Models [24.915387910764082]
  エキスパート特化ファインチューニング(Expert-Specialized Fine-Tuning、ESFT)は、他の専門家やモジュールを凍結しながら、下流のタスクに最も関係のある専門家をチューニングする。 よりきめ細かい専門家によるMoEモデルは、下流タスクに最も関係のある専門家の組み合わせを選択する上でより有利である。
  論文  参考訳（メタデータ） (2024-07-02T03:11:13Z)
• A Survey on Mixture of Experts in Large Language Models [11.801185267119298]
  モデルキャパシティを最小限のオーバーヘッドでスケールアップする有効な方法として、専門家(MoE)の混在が現れた。 普及しているにもかかわらず、MoEに関する文献の体系的かつ包括的なレビューは欠如している。 この調査は、このギャップを埋めることを目指しており、MoEの複雑さを探求する研究者にとって不可欠なリソースとなっている。
  論文  参考訳（メタデータ） (2024-06-26T16:34:33Z)
• Limits of Deep Learning: Sequence Modeling through the Lens of Complexity Theory [15.24542569393982]
  彼らの成功にもかかわらず、ディープラーニングモデルは複雑な推論と機能構成を必要とするタスクに苦しむ。 本研究では,SSM(Structured State Space Models)とTransformer(Transformer)の制約に関する理論的および実証的研究を行う。 信頼性の高い多段階推論と構成課題解決を実現するための革新的なソリューションの必要性を強調した。
  論文  参考訳（メタデータ） (2024-05-26T19:33:23Z)
• Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers? [57.04803703952721]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。 概念深さ」の概念を導入し、より複雑な概念が一般的により深い層で得られることを示唆する。
  論文  参考訳（メタデータ） (2024-04-10T14:56:40Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。