論文の概要: Do Mixture-of-Experts Routers Benefit from Ensembling?
- arxiv url: http://arxiv.org/abs/2611.17472v1
- Date: Thu, 12 Nov 2026 19:58:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.252596
- Title: Do Mixture-of-Experts Routers Benefit from Ensembling?
- Title(参考訳): ミキサー・オブ・エクササイズはルーターの組立に相応しいか?
- Abstract要約: ニューラルネットワークのアンサンブルは、単一ネットワークより優れていることが繰り返し示されている。
我々は、ルーティングステップにアンサンブル理論を適用し、専門家と共同で訓練されたルータのアンサンブルを専門家の重みとして提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensembles of neural networks have repeatedly been shown to outperform single networks. Ensemble theory attributes this gain to the accuracy of the individual members and the diversity among them. Mixture-of-experts models already combine many experts, but a single router decides how the experts are weighted for each input. Motivated by ensemble theory, we apply ensembling to the routing step: an ensemble of routers, trained jointly with the experts, proposes the expert weights. We systematically evaluate this approach using underparameterized networks on two image-classification and two tabular-regression tasks. We analyse each experiment with a performance-diversity decomposition of the router ensemble, which, to our knowledge, has not previously been developed for routers. We report four findings. First, more routers lower the validation loss. Second, training routers to explicitly maximize expert diversity improves the mean performance on three of the four tasks. Third, explicitly maximizing router diversity has no effect on performance. Fourth, combining router weights with the arithmetic mean works better than combining them with the geometric mean. Routing benefits mildly from ensembling, but this benefit is offset by the computational cost of training additional routers.
- Abstract(参考訳): ニューラルネットワークのアンサンブルは、単一ネットワークより優れていることが繰り返し示されている。
アンサンブル理論はこの利得は、個々のメンバーの正確さとそれらの間の多様性に起因している。
Mixture-of-expertsモデルは、すでに多くのエキスパートを組み合わせているが、単一のルータが、各入力に対して専門家がどのように重み付けされているかを決定する。
アンサンブル理論により、我々はルーティングステップにアンサンブルを適用する:専門家と共同で訓練されたルータのアンサンブルは、専門家の重みを提案する。
我々は,2つの画像分類と2つの表層回帰タスクに対して,パラメータ化ネットワークを用いて,このアプローチを体系的に評価した。
我々は、ルータアンサンブルの性能多様性の分解を各実験で分析するが、これは我々の知る限り、これまでルータ向けに開発されていなかったものである。
我々は4つの発見を報告した。
まず、より多くのルータがバリデーション損失を下げる。
第2に、専門家の多様性を明示的に最大化するルータのトレーニングは、4つのタスクのうち3つの平均性能を改善する。
第3に、ルータの多様性を明示的に最大化することは、パフォーマンスに影響を与えない。
第4に、ルータ重みと算術平均を組み合わせることは、幾何学平均と組み合わせることよりもうまく機能する。
ルーティングはアンサンブルからわずかに恩恵を受けるが、この利点は追加ルータをトレーニングする計算コストによって相殺される。
関連論文リスト
- Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。
我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。
トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
論文 参考訳(メタデータ) (2026-08-11T02:40:58Z) - Redesign Mixture-of-Experts Routers with Manifold Power Iteration [60.55368504665436]
Manifold Power Iteration (MPI) を用いたルータの再設計を提案する。
MPIはルータ列を駆動し、関連する専門家の主特異方向に向かって収束させる。
MPIはルータ列を駆動し、関連する専門家の主特異方向に向かって収束することを示す。
論文 参考訳(メタデータ) (2026-06-10T17:57:36Z) - Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts [23.123497435269112]
SMoEの経路決定が機械的にどのように形成されるかを検討する。
スクラッチからトレーニングされた1億ドルのSMoEでは、より高いルータスコアが専門家のニューロンの活性化を予測する。
この結果から、ルータが効率的な分業を支援する代入幾何学をいかに形成するかが説明できる。
論文 参考訳(メタデータ) (2026-05-12T17:55:02Z) - Trade-offs in Ensembling, Merging and Routing Among Parameter-Efficient Experts [56.02203242609604]
大規模言語モデル(LLM)は、軽量アダプタで微調整され、多様なタスクにわたって強力なパフォーマンスを実現する。
異なる強みを持つ独立に訓練されたモデルを使用することで、3つの主要な戦略を通じてマルチタスク学習の可能性を示している。
私たちは、彼らのトレードオフを実証的に評価し、2つの重要な疑問に対処します。 均一なアンサンブルやマージを超えて行く利点は何ですか?そして、ルーティングの柔軟性は、その複雑さを正当化するのでしょうか?
論文 参考訳(メタデータ) (2026-03-03T21:44:11Z) - Mixture-of-Transformers Learn Faster: A Theoretical Study on Classification Problems [59.94955550958074]
本研究では,各変圧器ブロックが連続的に訓練されたゲーティングネットワークによって制御される専門家として機能する,トラクタブルな理論的枠組みについて検討する。
専門家の専門化は、勾配の衝突を減らし、各サブタスクを強く凸させることを示す。
トレーニングによって予測損失が$O(log(epsilon-1)$のステップでゼロに近づき、単一変圧器の$O(epsilon-1)$のレートよりも大幅に向上することが証明された。
論文 参考訳(メタデータ) (2025-10-30T21:07:36Z) - Omni-Router: Sharing Routing Decisions in Sparse Mixture-of-Experts for Speech Recognition [22.046185271408202]
Mixture-of-experts (MoE)アーキテクチャは、言語モデリングから自動音声認識(ASR)へと拡張されている。
我々の分析によると、ほとんどの層におけるルータは、他の層におけるルータの選択と強く相関しない専門家の選択を行う。
異なるレイヤの専門家間の協力を強化し、より高度な専門化を促進するために、私たちは異なるMoE層にまたがる共有ルータを使用します。
論文 参考訳(メタデータ) (2025-07-08T07:18:33Z) - Load Balancing Mixture of Experts with Similarity Preserving Routers [30.279616888339543]
Sparse Mixture of Experts (MoE)モデルは、大規模なニューラルネットワークをトレーニングするためのスケーラブルで効率的なアーキテクチャを提供する。
トークン単位のリレーショナル構造を保持する新しいロードバランシング損失を導入する。
その結果, ルータの損失は36%, 収束速度は36%向上し, 冗長性が低下することがわかった。
論文 参考訳(メタデータ) (2025-06-16T22:22:59Z) - HyperRouter: Towards Efficient Training and Inference of Sparse Mixture
of Experts [34.08858035082419]
この研究はHyperRoutを導入し、固定されたハイパーネットワークとトレーニング可能な埋め込みを通じてルータのパラメータを動的に生成する。
幅広いタスクにわたる実験は、HyperRoutの優れたパフォーマンスと効率性を示す。
論文 参考訳(メタデータ) (2023-12-12T07:40:23Z) - Learning distinct features helps, provably [98.78384185493624]
最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。
隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
論文 参考訳(メタデータ) (2021-06-10T19:14:45Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳(メタデータ) (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。