論文の概要: Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation

• arxiv url: http://arxiv.org/abs/2610.14644v1
• Date: Sat, 10 Oct 2026 06:54:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.085863
• Title: Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
• Title（参考訳）: エキスパート幾何学から階層的キャパシティアロケーションへ
• Abstract要約: 専門家の局所ジャコビアンランクは、これらの2次元によって連接しており、それらのバランスをとることは、専門家ごとのパラメータの固定でランクの上限を最大化することを示す。 さらに、層間パラメータ数、活性化FLOP、通信量定数を維持しながら、奥行きのキャパシティ割り当てを誘導し、専門家の数と形状を共変させるために層間固有次元(ID)を用いる。
• 参考スコア（独自算出の注目度）: 50.956588910671975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained mixture-of-experts (MoE) models commonly increase expert count by narrowing each expert, treating expert shape as a by-product of routing granularity. LatentMoE moves expert computation into a lower-dimensional space, exposing the input dimension and intermediate width of each expert as explicit design choices. We show that an expert's local Jacobian rank is jointly bounded by these two dimensions, and that balancing them maximizes the rank ceiling at fixed per-expert parameters. Controlled shape sweeps across model scales and routing granularities consistently favor near-square experts. We further use layerwise intrinsic dimension (ID) to guide capacity allocation across depth, co-varying the number and shape of experts while keeping per-layer parameter count, activated FLOPs, and communication volume constant. Compared with layer-homogeneous baselines, our ID-guided allocation achieves lower validation loss and stronger downstream performance. These results establish expert shape and layerwise allocation as practical design axes for MoEs.
• Abstract（参考訳）: 細粒度混合(MoE)モデルは、各専門家を絞り込み、専門家の形状をルーティングの粒度の副産物として扱うことで、専門家数を増やすのが一般的である。 LatentMoEは、専門家の計算を低次元空間に移行し、各専門家の入力次元と中間幅を明示的な設計選択として公開する。 専門家の局所ジャコビアンランクは、これらの2次元によって連接しており、それらのバランスをとることは、専門家ごとのパラメータの固定でランクの上限を最大化することを示す。 モデルスケールにまたがる制御された形状の掃き出しとルーティングの粒度は、ほぼ2乗のエキスパートを一貫して好んでいる。 さらに、層間パラメータ数、活性化FLOP、通信量定数を維持しながら、奥行きのキャパシティ割り当てを誘導し、専門家の数と形状を共変させるために層間固有次元(ID)を用いる。 層状均一ベースラインと比較すると,ID誘導アロケーションは検証損失が低く,下流性能が向上する。 これらの結果は,MoEの実用的な設計軸として,専門家の形状と階層的アロケーションを確立した。

関連論文リスト

• Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
  これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。 我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-15T15:08:09Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Finedeep: Mitigating Sparse Activation in Dense LLMs via Multi-Layer Fine-Grained Experts [82.74439280067492]
  ファインディープ(英: Finedeep)は、高密度モデルのための、きめ細かいきめ細かなアーキテクチャである。 我々のフレームワークは、従来の高密度モデルのフィードフォワードニューラルネットワーク層を小さな専門家に分割する。 各専門家の貢献度を決定するための新しいルーティング機構が提案されている。
  論文  参考訳（メタデータ） (2025-02-18T15:09:58Z)
• Mixture of Diverse Size Experts [13.29015039603752]
  Sparsely-Activated Mixture-of-Experts (MoE) は、計算コストを犠牲にすることなく大規模言語モデル (LLM) のスケールアップで人気を博している。 異なる大きさのエキスパートを持つよう設計されたレイヤを持つMoEアーキテクチャであるMoDSE(Mixture of Diverse Size Experts)を提案する。
  論文  参考訳（メタデータ） (2024-09-18T08:23:27Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。