論文の概要: Beyond Parameter Count: Implicit Bias in Soft Mixture of Experts

• arxiv url: http://arxiv.org/abs/2409.00879v1
• Date: Mon, 2 Sep 2024 00:39:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 08:30:49.572572
• Title: Beyond Parameter Count: Implicit Bias in Soft Mixture of Experts
• Title（参考訳）: パラメータ数を超える:専門家のソフトな混ざり合いに暗黙のバイアス
• Authors: Youngseog Chung, Dhruv Malik, Jeff Schneider, Yuanzhi Li, Aarti Singh,
• Abstract要約: ソフトモエの専門専門化について紹介する。 小さな専門家がたくさんいる場合、アーキテクチャは暗黙的に偏りがあり、専門的な専門家のサブセットを効率的に近似できることを示している。
• 参考スコア（独自算出の注目度）: 44.09546603624385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The traditional viewpoint on Sparse Mixture of Experts (MoE) models is that instead of training a single large expert, which is computationally expensive, we can train many small experts. The hope is that if the total parameter count of the small experts equals that of the singular large expert, then we retain the representation power of the large expert while gaining computational tractability and promoting expert specialization. The recently introduced Soft MoE replaces the Sparse MoE's discrete routing mechanism with a differentiable gating function that smoothly mixes tokens. While this smooth gating function successfully mitigates the various training instabilities associated with Sparse MoE, it is unclear whether it induces implicit biases that affect Soft MoE's representation power or potential for expert specialization. We prove that Soft MoE with a single arbitrarily powerful expert cannot represent simple convex functions. This justifies that Soft MoE's success cannot be explained by the traditional viewpoint of many small experts collectively mimicking the representation power of a single large expert, and that multiple experts are actually necessary to achieve good representation power (even for a fixed total parameter count). Continuing along this line of investigation, we introduce a notion of expert specialization for Soft MoE, and while varying the number of experts yet fixing the total parameter count, we consider the following (computationally intractable) task. Given any input, how can we discover the expert subset that is specialized to predict this input's label? We empirically show that when there are many small experts, the architecture is implicitly biased in a fashion that allows us to efficiently approximate the specialized expert subset. Our method can be easily implemented to potentially reduce computation during inference.
• Abstract（参考訳）: スパースミキチャー・オブ・エキスパート(MoE)モデルに関する伝統的な見解は、単一の大規模専門家を訓練する代わりに、計算コストがかかるため、多数の小規模専門家を訓練できるというものである。 小さい専門家の総パラメータ数が特異な大専門家のそれと等しければ、我々は、計算的トラクタビリティを得ながら、専門家の表現力を保ち、専門家の専門化を促進することを期待する。 最近導入されたSoft MoEは、Sparse MoEの離散ルーティング機構をトークンを滑らかに混合する微分可能なゲーティング関数に置き換えている。 このスムーズなゲーティング関数はスパースMoEに関連する様々なトレーニング不安定性を緩和するが、ソフトMoEの表現力に影響を及ぼす暗黙のバイアスを誘発するか、専門家の専門化の可能性は明らかでない。 単元的に強力な専門家を持つSoft MoEは、単純な凸関数を表現できないことを証明した。 このことは、Soft MoEの成功は、一大専門家の表現力を総合的に模倣する多くの小さな専門家の伝統的な視点では説明できないこと、そして複数の専門家が(固定された総パラメータ数であっても)優れた表現力を達成するために実際に必要であることを正当化している。 本研究は,Soft MoEのエキスパート専門化の概念を導入し,パラメータの総数を変えながら,以下の(計算上は難解な)課題を考察する。 入力が与えられたら、この入力のラベルを予測するための専門的なサブセットを見つけるにはどうすればよいのか? 経験的に、小さな専門家がたくさんいると、アーキテクチャは暗黙的に偏りがあり、専門的な専門家のサブセットを効率的に近似できることを示している。 提案手法は推論時の計算量を削減するために容易に実装できる。

関連論文リスト

• Mixture of Parrots: Experts improve memorization more than reasoning [72.445819694797]
  専門家の数が増えるにつれて、推論能力が飽和している間に記憶性能が一貫して向上することを示す。 専門家の増加は知識集約的なタスクの解決に役立ちますが、推論タスクには同じようなメリットが得られません。
  論文  参考訳（メタデータ） (2024-10-24T17:54:41Z)
• Mixture of Diverse Size Experts [13.29015039603752]
  Sparsely-Activated Mixture-of-Experts (MoE) は、計算コストを犠牲にすることなく大規模言語モデル (LLM) のスケールアップで人気を博している。 異なる大きさのエキスパートを持つよう設計されたレイヤを持つMoEアーキテクチャであるMoDSE(Mixture of Diverse Size Experts)を提案する。
  論文  参考訳（メタデータ） (2024-09-18T08:23:27Z)
• HoME: Hierarchy of Multi-Gate Experts for Multi-Task Learning at Kuaishou [19.113649341888532]
  クアイショーのショートビデオサービスで学んだ実践的問題と教訓について紹介する。 業界では、広く使われているマルチタスクフレームワークはMixture-of-Experts(MoE)パラダイムである。
  論文  参考訳（メタデータ） (2024-08-10T04:25:48Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。