論文の概要: HMoE: Heterogeneous Mixture of Experts for Language Modeling

• arxiv url: http://arxiv.org/abs/2408.10681v1
• Date: Tue, 20 Aug 2024 09:35:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 14:24:42.783485
• Title: HMoE: Heterogeneous Mixture of Experts for Language Modeling
• Title（参考訳）: HMoE:言語モデリングの専門家の不均一な混合
• Authors: An Wang, Xingwu Sun, Ruobing Xie, Shuaipeng Li, Jiaqi Zhu, Zhen Yang, Pinxue Zhao, J. N. Han, Zhanhui Kang, Di Wang, Naoaki Okazaki, Cheng-zhong Xu,
• Abstract要約: 伝統的に、Mixture of Experts (MoE)モデルは同一容量の均一なエキスパートを使用する。 本稿では,HMOE(Heterogeneous Mixture of Experts)を提案する。 HMoEは、活性化パラメータを少なくして低い損失を達成し、様々な事前学習評価ベンチマークにおいて、従来の均質なMoEモデルより優れる。
• 参考スコア（独自算出の注目度）: 45.65121689677227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture of Experts (MoE) offers remarkable performance and computational efficiency by selectively activating subsets of model parameters. Traditionally, MoE models use homogeneous experts, each with identical capacity. However, varying complexity in input data necessitates experts with diverse capabilities, while homogeneous MoE hinders effective expert specialization and efficient parameter utilization. In this study, we propose a novel Heterogeneous Mixture of Experts (HMoE), where experts differ in size and thus possess diverse capacities. This heterogeneity allows for more specialized experts to handle varying token complexities more effectively. To address the imbalance in expert activation, we propose a novel training objective that encourages the frequent activation of smaller experts, enhancing computational efficiency and parameter utilization. Extensive experiments demonstrate that HMoE achieves lower loss with fewer activated parameters and outperforms conventional homogeneous MoE models on various pre-training evaluation benchmarks. Codes will be released upon acceptance.
• Abstract（参考訳）: Mixture of Experts (MoE)は、モデルパラメータのサブセットを選択的に活性化することで、優れたパフォーマンスと計算効率を提供する。 伝統的に、MoEモデルは同一容量の均一な専門家を使用する。 しかし、入力データの様々な複雑さは、様々な能力を持つ専門家を必要とする一方で、均質なMoEは、効果的な専門家の専門化と効率的なパラメータ利用を妨げる。 本研究では,HMOE(Heterogeneous Mixture of Experts)を提案する。 この異質性により、より専門的な専門家が様々なトークンの複雑さをより効果的に扱えるようになる。 専門家アクティベーションの不均衡に対処するため,より小さな専門家の頻繁な活性化を奨励し,計算効率とパラメータ利用を向上する新たなトレーニング目標を提案する。 広範囲な実験により,HMoEは活性化パラメータを少なくして低損失を達成し,様々な事前学習評価ベンチマークにおいて従来の均一なMoEモデルより優れることが示された。 コードは受理後に公開される。

関連論文リスト

• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Dynamic Mixture of Experts: An Auto-Tuning Approach for Efficient Transformer Models [33.834215393960605]
  本稿では,トランスフォーマーに基づく基礎モデルのトレーニングと推論の効率を高めるために,DynMoE(Dynamic Mixture of Experts)技術を導入する。 DynMoEには、各トークンがアクティベートする専門家の数を自動的に決定できる新しいゲーティングメソッドが組み込まれている。 本研究は,視覚・言語タスクにおけるGMoEと視覚言語タスクにおけるMoE-LLaVAとの競合性能を比較検討した。
  論文  参考訳（メタデータ） (2024-05-23T08:18:30Z)
• Multi-Head Mixture-of-Experts [100.60556163597946]
  MH-MoE(Multi-Head Mixture-of-Experts)を提案する。 MH-MoEは、他のSMoE最適化手法の実装と分離が容易であり、性能向上のために他のSMoEモデルとの統合が容易である。
  論文  参考訳（メタデータ） (2024-04-23T13:47:09Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)
• HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts [25.504602853436047]
  言語モデルのMixture of Experts (MoE)は、各入力トークンを特定の専門家のサブセットに動的にルーティングすることで、モデルのキャパシティを増大させる効果が証明されている。 我々はHypernetworks上に構築された新しいMoEフレームワークであるHyperMoEを提案する。 このフレームワークは、マルチタスク学習における知識伝達の概念とMoEの計算処理を統合する。
  論文  参考訳（メタデータ） (2024-02-20T02:09:55Z)
• MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts [15.535613294871487]
  我々はMixture-of-Distilled-Expert (MoDE) という手法を提案する。 MoDEは専門家の間で適度な相互蒸留を適用し、各専門家が他の専門家から学んだより多くの特徴を拾えるようにする。
  論文  参考訳（メタデータ） (2024-01-31T03:52:32Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Towards Being Parameter-Efficient: A Stratified Sparsely Activated Transformer with Dynamic Capacity [37.04254056062765]
  Stratified Mixture of Experts (SMoE)モデルは、異なるトークンに動的キャパシティを割り当てることができる。 SMoEは、同じまたは少ないパラメータで複数の最先端MoEモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-03T15:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。