論文の概要: On the Expressive Power of Mixture-of-Experts for Structured Complex Tasks

• arxiv url: http://arxiv.org/abs/2505.24205v1
• Date: Fri, 30 May 2025 04:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.770558
• Title: On the Expressive Power of Mixture-of-Experts for Structured Complex Tasks
• Title（参考訳）: 構造化複素問題に対する混合実験の表現力について
• Authors: Mingze Wang, Weinan E,
• Abstract要約: 低次元性と疎性という2つの構造的前提を持つ複雑なタスクのモデル化におけるMoEの表現力について検討する。 浅部MoEに対して、低次元でサポートされた関数を効率的に近似できることを証明し、次元性の呪いを克服する。 深層MoEsの場合、$cO(L)$-layer MoEs with $E$ experts per layer は、構成空間の幅を持つ$EL$ピースからなるピースワイズ関数を近似することができる。
• 参考スコア（独自算出の注目度）: 10.246977481606427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-experts networks (MoEs) have demonstrated remarkable efficiency in modern deep learning. Despite their empirical success, the theoretical foundations underlying their ability to model complex tasks remain poorly understood. In this work, we conduct a systematic study of the expressive power of MoEs in modeling complex tasks with two common structural priors: low-dimensionality and sparsity. For shallow MoEs, we prove that they can efficiently approximate functions supported on low-dimensional manifolds, overcoming the curse of dimensionality. For deep MoEs, we show that $\cO(L)$-layer MoEs with $E$ experts per layer can approximate piecewise functions comprising $E^L$ pieces with compositional sparsity, i.e., they can exhibit an exponential number of structured tasks. Our analysis reveals the roles of critical architectural components and hyperparameters in MoEs, including the gating mechanism, expert networks, the number of experts, and the number of layers, and offers natural suggestions for MoE variants.
• Abstract（参考訳）: 混合エキスパートネットワーク(MoEs)は、現代のディープラーニングにおいて顕著な効率性を示している。 経験的な成功にもかかわらず、それらの複雑なタスクをモデル化する能力の基礎となる理論的基礎は理解されていない。 本研究では,低次元性と疎性という2つの構造的前提を持つ複雑なタスクをモデル化する上で,MoEの表現力に関する体系的研究を行う。 浅部MoEに対して、低次元多様体上で支えられる関数を効率的に近似できることを証明し、次元性の呪いを克服する。 深層MoEsに対して、$\cO(L)$-layer MoEs with $E$ experts per layer は、組成空間の広い$E^L$ピースからなる、指数関数的に多くの構造化されたタスクを示すことができることを示す。 本分析では, ゲーティング機構, エキスパートネットワーク, 専門家数, レイヤー数など, MoE における重要なアーキテクチャコンポーネントとハイパーパラメータの役割を明らかにし, 自然に提案する MoE 変種について検討した。

関連論文リスト

• ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns [68.61814799047956]
  Mixture-of-Experts (MoE)は、スパース専門家のアクティベーションを通じて計算効率を保ちながら、モデル容量を効果的にスケールする。 ExpertWeaverは、ニューロンをアクティベーションパターンに従ってパーティショニングする、トレーニング不要のフレームワークで、共有専門家と特殊なルーティング専門家をレイヤ適応構成で構成する。
  論文  参考訳（メタデータ） (2026-02-17T11:50:58Z)
• Efficient Training of Diffusion Mixture-of-Experts Models: A Practical Recipe [51.26601054313749]
  Diffusion MoEモデルに対する最近の取り組みは、主により洗練されたルーティングメカニズムの開発に焦点を当てている。 大規模言語モデル(LLM)で確立されたMoE設計パラダイムに着想を得て,効率的な拡散MoEモデルを構築する上で重要なアーキテクチャ要素のセットを特定する。 本稿では,潜在空間拡散フレームワークと画素空間拡散フレームワークの両方に効率よく適用可能な新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-12-01T03:52:31Z)
• Sparsity and Superposition in Mixture of Experts [0.0]
  我々は,MoEモデルを同一のレンズでメカニカルに説明できないことを示す。 特徴の疎さも特徴の重要さも相変わらずの相違の原因にはならない。 本稿では,負荷分散ではなく,単意味的特徴表現に基づく専門家専門化の新たな定義を提案する。
  論文  参考訳（メタデータ） (2025-10-26T22:44:35Z)
• Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms [55.1784306456972]
  Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。 内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。 その結果,(1)モデルの発展に伴ってニューロンの利用が減少し,より高度な一般化が期待できる,(2)ベンチマークのパフォーマンスが限られた信号のみを提供するダイナミックな軌道を示す,(3)複数の専門家の協力的貢献からタスク完了が生じる,(4)ニューロンレベルでの活性化パターンがデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。
  論文  参考訳（メタデータ） (2025-09-28T15:13:38Z)
• MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models [61.89384981175277]
  ローランド適応 (LoRA) とミックスオブエキスパート (MoE) を統合するための固有テキストbfMixture-of-Adapters (MoA) アプローチを提案する。 実験結果から, 不均一なMoAは均一なMoE-LoRA法よりも性能およびパラメータ効率が優れていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T09:54:19Z)
• On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating [75.29576838162714]
  DeepSeekMoEは、共有専門家戦略の展開と正規化されたシグモイドゲーティングメカニズムの2つのユニークな特徴から際立っている。 本研究では, 共有専門家戦略と正規化シグモイドゲーティングの両方において, サンプル効率の利得を明らかにするために, 専門家推定タスクの収束解析を行う。
  論文  参考訳（メタデータ） (2025-05-16T04:58:18Z)
• Mixture of Group Experts for Learning Invariant Representations [25.935653652324532]
  わずかに活性化されたMixture-of-Experts (MoE)モデルはトークン当たりの一貫した計算コストを維持しながらパラメータ数を効果的に増加させる。 スパース表現にインスパイアされた上位$kのルーティングによるバニラMOEの新しい視点を示す。 グループエキスパートの混合(Mixture of Group Experts, MOGE)と呼ばれるトップ$kのルーティング入力に対するグループスパース正規化手法を提案する。
  論文  参考訳（メタデータ） (2025-04-12T15:58:02Z)
• MoLAE: Mixture of Latent Experts for Parameter-Efficient Language Models [10.623996218106564]
  Mixture of Experts (MoE)は、Large Language Models (LLM)を効率的にスケーリングするための重要なアーキテクチャパラダイムとなっている。 我々は、共有射影を通して専門家の操作を低次元の潜在空間に変換する新しいパラメータ化であるMoLAEを導入し、それに続いて専門家固有の変換を行う。 モデル性能を保ちながら,MoLAEは複数の次元にわたる効率を著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-03-29T14:35:34Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Let the Expert Stick to His Last: Expert-Specialized Fine-Tuning for Sparse Architectural Large Language Models [24.915387910764082]
  エキスパート特化ファインチューニング(Expert-Specialized Fine-Tuning、ESFT)は、他の専門家やモジュールを凍結しながら、下流のタスクに最も関係のある専門家をチューニングする。 よりきめ細かい専門家によるMoEモデルは、下流タスクに最も関係のある専門家の組み合わせを選択する上でより有利である。
  論文  参考訳（メタデータ） (2024-07-02T03:11:13Z)
• A Survey on Mixture of Experts in Large Language Models [11.801185267119298]
  モデルキャパシティを最小限のオーバーヘッドでスケールアップする有効な方法として、専門家(MoE)の混在が現れた。 普及しているにもかかわらず、MoEに関する文献の体系的かつ包括的なレビューは欠如している。 この調査は、このギャップを埋めることを目指しており、MoEの複雑さを探求する研究者にとって不可欠なリソースとなっている。
  論文  参考訳（メタデータ） (2024-06-26T16:34:33Z)
• Limits of Deep Learning: Sequence Modeling through the Lens of Complexity Theory [15.24542569393982]
  彼らの成功にもかかわらず、ディープラーニングモデルは複雑な推論と機能構成を必要とするタスクに苦しむ。 本研究では,SSM(Structured State Space Models)とTransformer(Transformer)の制約に関する理論的および実証的研究を行う。 信頼性の高い多段階推論と構成課題解決を実現するための革新的なソリューションの必要性を強調した。
  論文  参考訳（メタデータ） (2024-05-26T19:33:23Z)
• Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers? [57.04803703952721]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。 概念深さ」の概念を導入し、より複雑な概念が一般的により深い層で得られることを示唆する。
  論文  参考訳（メタデータ） (2024-04-10T14:56:40Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。