論文の概要: Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

• arxiv url: http://arxiv.org/abs/2610.27598v1
• Date: Tue, 20 Oct 2026 04:05:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.628111
• Title: Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
• Title（参考訳）: Meta Expert: ストレージと検索効率のよいMoEのためのクロス層エキスパート共有
• Abstract要約: 層間共有のtextbfMeta Expert は階層的に配置された textbfLocal Expert よりも大きなポテンシャルを持つことを示す。 また,メタエキスパートがより柔軟な残差経路を隠蔽状態に提供することにより,情報検索効率が向上することがわかった。
• 参考スコア（独自算出の注目度）: 42.87845599314496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As model parameters scale up, sparsely activated Mixture-of-Experts (MoE) approaches have become essential for model scaling. However, mainstream models currently adopt hierarchical architectures, where experts in different layers, although topologically independent, exhibit substantial similarity and redundancy in their stored content. Compared to the hierarchically arranged \textbf{Local Expert} in existing mainstream models, we hypothesize that inter-layer shared \textbf{Meta Expert} hold greater potential. To this end, we conduct a multi-dimensional empirical comparison between Local and Meta Experts, and find that models incorporating Meta Experts exhibit lower parameter redundancy, together with lower cross-entropy loss and higher downstream task accuracy. With the activated quantity and the expert granularity held fixed, \textbf{our model matches the performance of Vanilla MoE using only 70--80\% of the experts}, substantially improving the model's scaling potential. Beyond removing inter-layer redundancy among experts and improving information storage efficiency, our theoretical analysis further shows that, compared with Local Experts, Meta Experts provide hidden states with more flexible residual pathways, thereby improving information retrieval efficiency.
• Abstract（参考訳）: モデルパラメータのスケールアップに伴い、モデルスケーリングには、疎に活性化されたMixture-of-Experts(MoE)アプローチが不可欠になっている。 しかし、現在主流のモデルは階層的アーキテクチャを採用しており、異なる階層の専門家は、位相的に独立しているが、保存されたコンテンツにかなりの類似点と冗長性を示す。 既存の主流モデルにおける階層的に配置された \textbf{Local Expert} と比較して、層間共有 \textbf{Meta Expert} がより大きなポテンシャルを持つという仮説を立てる。 そこで我々は,局所的およびメタエキスパートの多次元的比較を行い,メタエキスパートを取り入れたモデルがパラメータ冗長度を低くし,クロスエントロピー損失を低くし,下流タスクの精度を高くすることを示した。 アクティベート量と専門家の粒度が固定されたモデルでは、バニラ・モエの性能は専門家の70～80パーセントで一致し、モデルのスケーリング能力は大幅に向上した。 専門家の層間冗長性を排除し,情報記憶効率を向上するだけでなく,情報検索効率を向上させるために,メタエキスパートは,ローカルエキスパートと比較して,より柔軟な残留経路を隠蔽状態に提供する。

関連論文リスト

• Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
  これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。 我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-15T15:08:09Z)
• Expert Divergence Learning for MoE-based Language Models [21.857507958048696]
  本稿では,専門家間の機能的専門化を明確に促進する,新しい事前学習戦略であるExpert Divergence Learningを紹介する。 本手法は,事前学習コーパスに固有のドメインラベルを活用するラベル駆動補助損失を組み込む。 我々は,最大150億パラメータのMoEモデルをスクラッチから事前学習することで,我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2026-02-10T06:58:38Z)
• On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating [75.29576838162714]
  DeepSeekMoEは、共有専門家戦略の展開と正規化されたシグモイドゲーティングメカニズムの2つのユニークな特徴から際立っている。 本研究では, 共有専門家戦略と正規化シグモイドゲーティングの両方において, サンプル効率の利得を明らかにするために, 専門家推定タスクの収束解析を行う。
  論文  参考訳（メタデータ） (2025-05-16T04:58:18Z)
• Retraining-Free Merging of Sparse MoE via Hierarchical Clustering [24.28646376876676]
  本稿では, 疎活性化型エキスパート混合(HC-SMoE)のための階層クラスタリングについて紹介する。 HC-SMoEは、パラメータ還元のためのタスクに依存しないエキスパートマージフレームワークである。 我々は、QwenやMixtralを含む最先端モデルにおけるHC-SMoEの有効性を示すために、複数のゼロショット言語タスクの理論的解析と評価を行う。
  論文  参考訳（メタデータ） (2024-10-11T07:36:14Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。