論文の概要: Sparsity Saves Compute, Not Samples: Oracle Inequalities for Dense and Sparse Mixture of Experts
- arxiv url: http://arxiv.org/abs/2610.15039v1
- Date: Sat, 10 Oct 2026 16:24:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 02:48:18.123075
- Title: Sparsity Saves Compute, Not Samples: Oracle Inequalities for Dense and Sparse Mixture of Experts
- Title（参考訳）: スペシャリティはコンピュータを節約し、サンプルではない
- Abstract要約: Mixture-of-Experts (MoE)モデルは、入力依存のルーティング機構を通じて専門の専門家を結合する。
専門家とゲーティングネットワークの両方がリプシッツである場合、最小二乗MoE推定器の推定誤差について検討する。
- 参考スコア（独自算出の注目度）: 57.07359479446759
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) models combine specialized experts through an input-dependent routing mechanism, and their sparse variants underpin many modern large-scale systems. Yet the statistical cost of adaptive routing remains only partially understood. We study the estimation error of least-squares MoE estimators when both the experts and the gating network are Lipschitz in their parameters. We represent each MoE as a gate--expert pair in a Gated Hilbert Space, whose norm $\|\cdot\|_Δ$ separates the contributions of routing and expert discrepancies. Using its empirical representation, we derive an oracle inequality with a fast rate of order $\tilde{\mathcal O}\big((Kd_{\mathrm{pr},e}+d_{\mathrm{pr},g})/n\big)$ for dense MoEs with $K$ experts. For sparse Top-$k$ and Top-$p$ routing, the selection map is discontinuous in the gating parameters. We handle this by partitioning the gating class according to the selection patterns it induces on the sample. The resulting bounds match the dense rate up to an additive routing cost governed by the Natarajan dimension of the selector. We show that such a routing-complexity condition cannot be dropped: Lipschitz continuity in the parameters alone does not suffice. For linear softmax gating, the routing cost is of the same order as the gating term. Finally, for linear experts, we establish a matching minimax lower bound of order $Kd_{\mathrm{pr},e}/n$, showing that the rates are optimal up to logarithmic factors.
- Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、入力依存のルーティング機構を通じて専門の専門家を結合し、そのスパースなバリエーションは多くの近代的な大規模システムを支える。
しかし、適応ルーティングの統計的コストは、部分的にしか理解されていない。
専門家とゲーティングネットワークの両方がパラメータのリプシッツである場合、最小二乗MoE推定器の推定誤差について検討する。
我々は各 MoE を Gated Hilbert Space のゲート-エキスパート対として表現し、そのノルム $\|\cdot\|_Δ$ はルーティングと専門家の不一致の寄与を分離する。
経験的表現を用いて、K$の専門家を持つ高密度 MoE に対して、高速な位数 $\tilde{\mathcal O}\big((Kd_{\mathrm{pr},e}+d_{\mathrm{pr},g})/n\big)$ のオラクル不等式を導出する。
スパースTop-$k$とTop-$p$ルーティングの場合、選択マップはゲーティングパラメータでは不連続である。
この処理は、サンプル上で推論される選択パターンに従って、ゲーティングクラスをパーティショニングすることで処理します。
結果のバウンダリは、セレクタのナタラジャン次元によって支配される付加的なルーティングコストまでの密度速度と一致する。
パラメータのリプシッツ連続性だけでは十分ではない。
線形ソフトマックスゲーティングの場合、ルーティングコストはゲーティング項と同じ順序である。
最後に、線形専門家に対して、一致するミニマックス下限の位数$Kd_{\mathrm{pr},e}/n$を確立し、このレートが対数因子に最適であることを示す。
関連論文リスト
- Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts [45.31502436468577]
本稿では, 分散分布の局所化から, アクティブなエキスパート予算を$k$とするElastic Expert Routingを提案する。
サンプリング近傍は対称のままであるため、この手法は決定論的トレーニングの予測計算コストと一致する。
オフスクラッチ事前トレーニングでは、検証LM損失を0.04ドルまで減らし、静的のトップ$k$ベースラインを平均16ドルポイント上回る。
論文 参考訳（メタデータ） (2026-10-08T09:31:19Z) - MoRE: Scaling mixture of experts with hardware-aware low-rank routing [18.92561703051693]
そこで,Mixture of Rank-reduced-routed Experts (Mixture of Rank-Reduced-routed Experts) を導入し,ルータの重み行列をランク$r$で分解し,ルーティングコストを$O((h + M)r)$に削減する。
能動的専門家の数が固定された場合,M$suffices のランク対数式が表現率のルーティングに十分であることを示す。
MoREは、事前学習後、電話帳タスクの記憶を改善し、知識集約型Q&Aベンチマークのパフォーマンスを推論能力に適合させながら改善する。
論文 参考訳（メタデータ） (2026-09-28T21:37:17Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - ProbMoE: Differentiable Probabilistic Routing for Mixture-of-Experts [32.864092506780004]
Mixture-of-Experts (MoE)モデルはトークンごとに少数の専門家を活性化することでスケールする。
本稿では,確率的ルーティングフレームワークProbMoEを紹介する。
論文 参考訳（メタデータ） (2026-06-01T00:16:36Z) - Expert Routing for Communication-Efficient MoE via Finite Expert Banks [3.8673630752805437]
リソース効率のよい機械学習では、スパース・ミックス・オブ・エクササイズ(MoE)アーキテクチャの利用が増えている。
ゲートをチャネルとして扱い、選択した専門家が利用可能なルーティング情報を定量化するために$I(X;T)$を使用します。
提案するフレームワークは,リソースを意識したMoE推論システムを解析するための実用的なツールを提供する。
論文 参考訳（メタデータ） (2026-05-06T16:00:46Z) - UCB-type Algorithm for Budget-Constrained Expert Learning [71.67657715154034]
algnameM-LCBはUCBスタイルのメタアルゴリズムであり、幻想的後悔の保証を提供する
我々は、AlgnameM-LCBが、限られたリソースの下で、ステートフルで自己学習の専門家をコーディネートする、より現実的なシナリオまで、古典的な帯域幅パラダイムをどのように拡張しているかを示す。
論文 参考訳（メタデータ） (2025-10-26T12:36:17Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient
for Convolutional Neural Networks [74.68583356645276]
ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。
我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
論文 参考訳（メタデータ） (2023-06-07T00:16:10Z) - Nearly Dimension-Independent Sparse Linear Bandit over Small Action
Spaces via Best Subset Selection [71.9765117768556]
本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。
この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。
本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
論文 参考訳（メタデータ） (2020-09-04T04:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。