論文の概要: EMO: Pretraining Mixture of Experts for Emergent Modularity

• arxiv url: http://arxiv.org/abs/2605.06663v1
• Date: Thu, 07 May 2026 17:59:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.077589
• Title: EMO: Pretraining Mixture of Experts for Emergent Modularity
• Title（参考訳）: EMO: 創発的なモジュール性のためのエキスパートの混在を予習する
• Authors: Ryan Wang, Akshita Bhagia, Sewon Min,
• Abstract要約: 大規模な言語モデルは一般的にモノリシックなシステムとしてデプロイされる。 MoEは、入力毎に専門家のサブセットだけを活性化することで潜在的な代替手段を提供するが、実際には、特定のドメインの専門家のサブセットに対する推論を制限することで、パフォーマンスが大幅に低下する。 EMOはモジュール性 - 専門家のサブセットの独立した使用と構成 - 人間が定義した事前定義を必要とせずに - のために設計されたMoEである。
• 参考スコア（独自算出の注目度）: 23.516967735771555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are typically deployed as monolithic systems, requiring the full model even when applications need only a narrow subset of capabilities, e.g., code, math, or domain-specific knowledge. Mixture-of-Experts (MoEs) seemingly offer a potential alternative by activating only a subset of experts per input, but in practice, restricting inference to a subset of experts for a given domain leads to severe performance degradation. This limits their practicality in memory-constrained settings, especially as models grow larger and sparser. We introduce EMO, an MoE designed for modularity-the independent use and composition of expert subsets-without requiring human-defined priors. Our key idea is to encourage tokens from similar domains to rely on similar experts. Since tokens within a document often share a domain, EMO restricts them to select experts from a shared pool, while allowing different documents to use different pools. This simple constraint enables coherent expert groupings to emerge during pretraining using document boundaries alone. We pretrain a 1B-active, 14B-total EMO on 1T tokens. As a full model, it matches standard MoE performance. Crucially, it enables selective expert use: retaining only 25% (12.5%) of experts incurs just a 1% (3%) absolute drop, whereas standard MoEs break under the same setting. We further find that expert subsets in EMO specialize at semantic levels (e.g., domains such as math or code), in contrast to the low-level syntactic specialization observed in standard MoEs. Altogether, our results demonstrate a path toward modular, memory-efficient deployment of large, sparse models and open new opportunities for composable architectures.
• Abstract（参考訳）: 大規模言語モデルは一般的にモノリシックなシステムとしてデプロイされ、アプリケーションに必要な機能(例えば、コード、数学、ドメイン固有の知識など)が限られている場合でも、完全なモデルを必要とする。 Mixture-of-Experts (MoEs)は、入力毎に専門家のサブセットだけをアクティベートすることで、潜在的な代替手段を提供するように見えるが、実際には、特定のドメインの専門家のサブセットに対する推論を制限することで、パフォーマンスが大幅に低下する。 これにより、特にモデルが大きくなり、スペーサーになるにつれて、メモリ制限された設定での実用性が制限される。 EMOはモジュール性 - 専門家のサブセットの独立した使用と構成 - 人間が定義した事前定義を必要とせずに - のために設計されたMoEである。 私たちのキーとなるアイデアは、同じようなドメインからのトークンを、同じような専門家に依存するように奨励することです。 ドキュメント内のトークンはドメインを共有することが多いため、EMOは、異なるドキュメントが異なるプールを使用するようにしながら、共有プールから専門家を選択することを制限している。 このシンプルな制約により、ドキュメント境界だけで事前トレーニング中にコヒーレントな専門家グループを作成できる。 1Tトークン上で1B-active,14B-total EMOを事前訓練する。 フルモデルとして、標準のMoEパフォーマンスにマッチする。 専門家の25%(12.5%)だけが1%(3%)の絶対降下しか起こらないのに対して、標準のMoEは同じ条件下では壊れる。 さらに、EMOのエキスパートサブセットが意味レベル(例えば、数学やコードなどの領域)を専門とするのに対し、標準MoEの低レベルの構文特化は対照的である。 さらに,我々は,大規模でスパースなモデルのモジュール的,メモリ効率の高い展開に向けての道筋を示し,構成可能なアーキテクチャの新たな機会を開放した。

関連論文リスト

• Mixture of Lookup Key-Value Experts [0.0]
  textbfMixture textbfof textbfLookup textbfKey-textbfValue Experts (textbfMoLKV) モデルを提示する。 MoLKVは、小規模評価において、バリデーション損失を著しく低減する。
  論文  参考訳（メタデータ） (2025-12-10T15:05:55Z)
• Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
  Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。 私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
  論文  参考訳（メタデータ） (2025-09-30T16:56:44Z)
• Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
  本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。 本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
  論文  参考訳（メタデータ） (2025-04-09T11:34:06Z)
• Autonomy-of-Experts Models [34.82103329222486]
  我々は,専門家が自己選択して入力を処理する,新しいMoEパラダイムを提案する。 AoEは、専門家がトークンを効果的に処理する能力を知っているという洞察に基づいている。 トップレベルの専門家だけがフォワードパスを進み、他の専門家は中止します。
  論文  参考訳（メタデータ） (2025-01-22T18:37:08Z)
• MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
  MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。 MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-10-09T18:01:27Z)
• AdaMoE: Token-Adaptive Routing with Null Experts for Mixture-of-Experts Language Models [14.646419975663367]
  我々はAdaMoEを導入し、MoEのトークン適応ルーティングを実現する。 AdaMoEは各トークンに一定数のnullエキスパートを占有させません。 パフォーマンスを向上しながら、平均的な専門家負荷(FLOP)を削減できます。
  論文  参考訳（メタデータ） (2024-06-19T05:47:10Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。