論文の概要: When Does Sparse Routing Help? The Geometry of Expert Separation in Mixture of Experts

• arxiv url: http://arxiv.org/abs/2611.01602v1
• Date: Sun, 01 Nov 2026 05:36:47 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:19:38.51918
• Title: When Does Sparse Routing Help? The Geometry of Expert Separation in Mixture of Experts
• Title（参考訳）: スパースルーティングはいつ役に立つか : 専門家の混在における専門家分離の幾何学
• Abstract要約: 専門家のまばらな混合は、入力ごとに小さなサブセットのみを評価しながら、複数の予測モデルを組み合わせる。 専門家の分離とルーティングが、どのように専門家の回復を共同で管理するかは、依然として未解決の問題である。 トップ1ルーティングは特に顕著な結果をもたらし、専門家は分離量に依存しない速度で回復することができる。
• 参考スコア（独自算出の注目度）: 93.28335398145147
• License:
• Abstract: Sparse mixtures of experts combine multiple prediction models while evaluating only a small subset for each input. Although this architecture reduces computation, how expert separation and routing sparsity jointly govern expert recovery remains an open problem. In this paper, we address this question for location Gaussian mixtures of experts with a fixed number of experts by establishing how expert separation and spatial arrangement determine recovery rates. For dense models, our results reveal that when experts form well-separated clusters, the separation geometry is governed by the size of the largest cluster; without a prescribed cluster structure, this geometry is instead driven by the total number of experts. For sparse models, the separation geometry on retained routing regions is determined by the number of active experts, while the contribution of omitted regions is controlled by their total probability. Consequently, activating fewer experts reduces the separation complexity in these bounds. Furthermore, Top-1 routing yields a particularly striking result: experts can be recovered at a rate independent of the separation quantity. Our technical approach combines polynomial interpolation and Gaussian reproducing-kernel Hilbert space (RKHS) test functions with quantitative restriction inequalities that extend pointwise comparisons to expert functions.
• Abstract（参考訳）: 専門家のまばらな混合は、入力ごとに小さなサブセットのみを評価しながら、複数の予測モデルを組み合わせる。 このアーキテクチャは計算を減らしますが、専門家の分離とルーティングの疎結合が専門家の回復を共同で管理する方法は未解決の問題です。 本稿では,専門家分離と空間配置が回復率をどのように決定するかを確立することで,専門家と一定数の専門家の場所ガウス混合に対処する。 より密集したモデルでは、専門家がよく分離されたクラスタを形成すると、分離幾何学は最大のクラスタのサイズによって支配され、所定のクラスタ構造がなければ、この幾何学は専門家の総数によって駆動される。 スパースモデルでは、保持された経路領域上の分離幾何は、アクティブな専門家の数によって決定されるが、省略された領域の寄与は、その全確率によって制御される。 その結果、専門家の活性化は、これらの境界における分離の複雑さを減少させる。 さらに、Top-1ルーティングは特に顕著な結果をもたらし、専門家は分離量に依存しない速度で回復することができる。 我々の技術的アプローチは、多項式補間とガウス再生核ヒルベルト空間(RKHS)テスト関数と、専門家関数との点比較を延長する量的制限不等式を組み合わせたものである。

関連論文リスト

• Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation [50.956588910671975]
  専門家の局所ジャコビアンランクは、これらの2次元によって連接しており、それらのバランスをとることは、専門家ごとのパラメータの固定でランクの上限を最大化することを示す。 さらに、層間パラメータ数、活性化FLOP、通信量定数を維持しながら、奥行きのキャパシティ割り当てを誘導し、専門家の数と形状を共変させるために層間固有次元(ID)を用いる。
  論文  参考訳（メタデータ） (2026-10-10T06:54:36Z)
• Towards a Statistical Understanding of Mixture-of-Experts [9.70213785111328]
  Mixture-of-experts (MoE)アーキテクチャは、入力依存のルーティングを通じて専門家予測器のコレクションを組み合わせることで、モデル容量を増加させる。 我々は、MoEを局所化集約の一形態とみなし、この局所化が近似-推定-計算のトレードオフをどう見直すかを示す。 我々はまた、入力空間の幾何学を通してゲーティングを解釈し、局所的な専門家の利点のある領域にルーティング性能を関連付けるとともに、DeepSeekMoEのようなアーキテクチャで採用されている共有専門家が、どのように共通の予測構造を抽出できるかを示す。
  論文  参考訳（メタデータ） (2026-09-03T08:03:16Z)
• Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs [54.95810313530111]
  DERNは、専門家のプルーニングと再構築のためのタスク非依存でトレーニングなしのフレームワークである。 コモンセンス推論やMMLUベンチマークでは、50%のエキスパートスパシティでパフォーマンスを5%以上向上させる。
  論文  参考訳（メタデータ） (2025-09-12T16:09:39Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)
• Gaussian Experts Selection using Graphical Models [7.530615321587948]
  ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。 我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
  論文  参考訳（メタデータ） (2021-02-02T14:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。