論文の概要: MoE Routing Testbed: Studying Expert Specialization and Routing Behavior at Small Scale

• arxiv url: http://arxiv.org/abs/2604.07030v1
• Date: Wed, 08 Apr 2026 12:47:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.532508
• Title: MoE Routing Testbed: Studying Expert Specialization and Routing Behavior at Small Scale
• Title（参考訳）: MoEルーティングテストベッド:エキスパートスペシャライゼーションとルーティング行動の小型化に関する研究
• Authors: Tobias Falke, Nicolas Anastassacos, Samson Tan, Chankrisna Richy Meas, Chandana Satya Prakash, Nitesh Sekhar, M Saiful Bari, Krishna Kompella, Gamaleldin F. Elsayed,
• Abstract要約: そこで我々は,ルーティングダイナミックスを小規模でより鮮明に可視化する,MoE Routing Testbedを提案する。 テストベッドは、理想的なルーティングを規定する参照ルータと、明確に区別可能なドメインとデータミキシングをペアリングする。 高い専門家の活用を維持しつつ、専門化を実現する上で、バランスの取れたスコープが重要な要素であることを示します。
• 参考スコア（独自算出の注目度）: 12.078286327859425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse Mixture-of-Experts (MoE) architectures are increasingly popular for frontier large language models (LLM) but they introduce training challenges due to routing complexity. Fully leveraging parameters of an MoE model requires all experts to be well-trained and to specialize in non-redundant ways. Assessing this, however, is complicated due to lack of established metrics and, importantly, many routing techniques exhibit similar performance at smaller sizes, which is often not reflective of their behavior at large scale. To address this challenge, we propose the MoE Routing Testbed, a setup that gives clearer visibility into routing dynamics at small scale while using realistic data. The testbed pairs a data mix with clearly distinguishable domains with a reference router that prescribes ideal routing based on these domains, providing a well-defined upper bound for comparison. This enables quantifiable measurement of expert specialization. To demonstrate the value of the testbed, we compare various MoE routing approaches and show that balancing scope is the crucial factor that allows specialization while maintaining high expert utilization. We confirm that this observation generalizes to models 35x larger.
• Abstract（参考訳）: Sparse Mixture-of-Experts (MoE)アーキテクチャは、フロンティアの大規模言語モデル(LLM)ではますます人気があるが、ルーティングの複雑さによるトレーニングの課題も導入されている。 MoEモデルのパラメータを完全に活用するには、すべての専門家が十分に訓練され、非冗長な方法で専門化する必要がある。 しかし、この評価は確立されたメトリクスが欠如していることから複雑であり、多くのルーティング手法は小さなサイズで同様の性能を示しており、大規模にその振る舞いを反映していないことが多い。 この課題に対処するため,我々は,現実的なデータを使用しながら,小規模でルーティングダイナミックスをより鮮明に可視化する,MoE Routing Testbedを提案する。 テストベッドは、明確に区別可能なドメインと、これらのドメインに基づいて理想的なルーティングを規定する参照ルータとをペアリングし、比較のために明確に定義された上限を提供する。 これにより、専門家の専門化の定量化が可能になる。 テストベッドの価値を示すために、様々なMoEルーティング手法を比較し、高い専門家利用を維持しながら専門化を実現する上で、バランスの取れたスコープが重要な要素であることを示す。 この観測が35倍のモデルに一般化されることを確認する。

関連論文リスト

• Routing Manifold Alignment Improves Generalization of Mixture-of-Experts LLMs [24.791817951102487]
  ルーティング重みの多様体をタスク埋め込みの多様体と整合させることで、このギャップを効果的に軽減できることを示す。 実験では,RoMAを用いてOLMoE,DeepSeekMoE,Qwen3-MoEのルータを微調整する。
  論文  参考訳（メタデータ） (2025-11-10T18:59:53Z)
• RouterRetriever: Routing over a Mixture of Expert Embedding Models [58.987116118425995]
  本稿では、ルーティング機構を用いて、ドメイン固有の専門家の混在を利用した検索モデルであるReuterRetrieverを紹介する。 RouterRetrieverは、ドメイン固有の専門的な埋め込みモデルを混在させたルーティングの利点を示す最初の研究である。
  論文  参考訳（メタデータ） (2024-09-04T13:16:55Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)
• Performance Characterization of Expert Router for Scalable LLM Inference [0.4726677580049183]
  大規模言語モデル(LLM)は、科学や産業の領域で広く採用されている。 最適なスループットとレイテンシで、これらのモデルを大規模にデプロイし、提供することは、依然として大きな課題です。 本稿では、専門的な専門家モデルに向け、スケーラブルなルーティングアーキテクチャであるExpert Routerを紹介する。
  論文  参考訳（メタデータ） (2024-04-22T16:33:42Z)
• Soft Merging of Experts with Adaptive Routing [38.962451264172856]
  適応ルーティングによるエキスパートのソフトマージ(SMEAR)について紹介する SMEARは、専門家のパラメータの重み付け平均を通して構築された単一の「マージされた」専門家を使用することで、離散的なルーティングを避ける。 我々は,メタデータに基づいた経路モデルや,勾配推定によるスパースルーティングを学習するSMEARモデルを用いたモデルの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-06-06T15:04:31Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。