論文の概要: Mixture of Group Experts for Learning Invariant Representations

• arxiv url: http://arxiv.org/abs/2504.09265v1
• Date: Sat, 12 Apr 2025 15:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:55.960632
• Title: Mixture of Group Experts for Learning Invariant Representations
• Title（参考訳）: 不変表現学習のためのグループエキスパートの混合
• Authors: Lei Kang, Jia Li, Mi Tian, Hua Huang,
• Abstract要約: わずかに活性化されたMixture-of-Experts (MoE)モデルはトークン当たりの一貫した計算コストを維持しながらパラメータ数を効果的に増加させる。 スパース表現にインスパイアされた上位$kのルーティングによるバニラMOEの新しい視点を示す。 グループエキスパートの混合(Mixture of Group Experts, MOGE)と呼ばれるトップ$kのルーティング入力に対するグループスパース正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 25.935653652324532
• License:
• Abstract: Sparsely activated Mixture-of-Experts (MoE) models effectively increase the number of parameters while maintaining consistent computational costs per token. However, vanilla MoE models often suffer from limited diversity and specialization among experts, constraining their performance and scalability, especially as the number of experts increases. In this paper, we present a novel perspective on vanilla MoE with top-$k$ routing inspired by sparse representation. This allows us to bridge established theoretical insights from sparse representation into MoE models. Building on this foundation, we propose a group sparse regularization approach for the input of top-$k$ routing, termed Mixture of Group Experts (MoGE). MoGE indirectly regularizes experts by imposing structural constraints on the routing inputs, while preserving the original MoE architecture. Furthermore, we organize the routing input into a 2D topographic map, spatially grouping neighboring elements. This structure enables MoGE to capture representations invariant to minor transformations, thereby significantly enhancing expert diversity and specialization. Comprehensive evaluations across various Transformer models for image classification and language modeling tasks demonstrate that MoGE substantially outperforms its MoE counterpart, with minimal additional memory and computation overhead. Our approach provides a simple yet effective solution to scale the number of experts and reduce redundancy among them. The source code is included in the supplementary material and will be publicly released.
• Abstract（参考訳）: わずかに活性化されたMixture-of-Experts (MoE)モデルはトークン当たりの一貫した計算コストを維持しながらパラメータ数を効果的に増加させる。 しかしながら、バニラMOEモデルは、専門家の間で限られた多様性と特殊化に悩まされ、特に専門家の数が増加するにつれて、そのパフォーマンスとスケーラビリティが制限される。 本稿では、スパース表現にインスパイアされた上位$kのルーティングを持つバニラMOEについて、新しい視点を示す。 これにより、スパース表現から確立された理論的洞察をMoEモデルにブリッジすることができる。 本研究は,グループエキスパートの混合(Mixture of Group Experts, MOGE)と呼ばれる,トップ$kのルーティング入力のためのグループスパース正規化手法を提案する。 MoGEは、元のMoEアーキテクチャを保ちながら、ルーティング入力に構造的制約を課すことで、専門家を間接的に正規化する。 さらに,2次元地形図への経路入力を整理し,近傍の要素を空間的にグループ化する。 この構造により、MoGEはマイナー変換に不変な表現をキャプチャし、専門家の多様性と特殊化を大幅に向上させることができる。 画像分類と言語モデリングタスクのための様々なTransformerモデルに対する総合的な評価は、MoGEがメモリと計算オーバーヘッドを最小限に抑えて、MoEよりも大幅に優れていることを示している。 このアプローチは、専門家の数を拡大し、それら間の冗長性を減らすための、シンプルで効果的なソリューションを提供します。 ソースコードは補足資料に含まれており、公開される予定である。

関連論文リスト

• OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning [3.8813502422318127]
  低ランク適応(LoRA)のためのMixix-of-experts(MoE)アーキテクチャは、パラメータ効率の微調整(PEFT)における潜在的方向として出現している。 まず,バニラMoEの類似表現に専門家が崩壊し,モジュール設計の能力と計算効率が制限されることを示す定性解析を行った。 これらの知見に触発されて、直交混合(OMoE)を提案する。 提案手法は,バニラMOEモデルと比較して最小限の専門家を惹起するため,メモリボトルネックを緩和する。
  論文  参考訳（メタデータ） (2025-01-17T09:27:08Z)
• Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
  MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
  論文  参考訳（メタデータ） (2024-10-14T06:02:56Z)
• AT-MoE: Adaptive Task-planning Mixture of Experts via LoRA Approach [0.6906005491572401]
  本稿では,Adaptive Task-planing Mixture of Experts(AT-MoE)アーキテクチャを紹介する。 まず、LoRAアプローチを用いてタスク固有の専門家を訓練し、専門分野における問題解決能力と解釈可能性を高める。 次に,複雑なタスク命令に基づくモジュール融合を最適化する階層適応型グループルーティングモジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-12T13:03:15Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [59.43462055143123]
  The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。 本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。 我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
  論文  参考訳（メタデータ） (2023-10-15T07:20:28Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。