論文の概要: DBES: A Systematic Benchmark and Metric Suite for Evaluating Expert Specialization in Large-Scale MoEs
- arxiv url: http://arxiv.org/abs/2605.18498v1
- Date: Mon, 18 May 2026 14:50:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.806253
- Title: DBES: A Systematic Benchmark and Metric Suite for Evaluating Expert Specialization in Large-Scale MoEs
- Title（参考訳）: DBES: 大規模MOEのエキスパートスペシャライゼーションを評価するためのシステムベンチマークとメトリクススイート
- Authors: Jing Wang, Hongxuan Lu, Jazze Young, Shu Wang, Zhimin Xin,
- Abstract要約: Mixture-of-Experts(MoE)モデルのエキスパートスペシャライゼーションはいまだに理解されていない。
我々は、マルチドメインベンチマークと5つの理論的根拠を持つメトリクスを組み合わせた総合的な診断フレームワークDBESを紹介する。
この研究は、精度の指標とは無関係に専門家の専門性を評価するための最初の体系的な方法論を提供する。
- 参考スコア（独自算出の注目度）: 4.089532981955943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expert specialization in Mixture-of-Experts (MoE) models remains poorly understood, with traditional evaluations conflating architectural load-balancing with functional specialization. We introduce DBES, a comprehensive diagnostic framework combining a multi-domain benchmark with five theoretically grounded metrics: Routing Specialization, Normalized Effective Rank, Domain Isolation, Routing Stiffness Score, and N-gram Expertise measures. Critical findings demonstrate distinct specialization paradigms across models: Qwen-series exhibit modular specialization with high domain isolation, while DeepSeek and GLM employ distributed collaboration. However, we emphasize that specialization is a diagnostic dimension, necessary but not sufficient for downstream performance. Most crucially, interventional evidence validates the actionability of these metrics: by using DBES to identify high-specialization expert paths during domain-specific post-training, we achieved 66% to 94.48% improvement in specialized domains with only 15% of original training resources, demonstrating that these diagnostic tools can be converted into concrete optimization operators. This work provides the first systematic methodology for evaluating expert specialization independently of accuracy metrics, offering crucial insights for the design and post-training optimization of next-generation MoE systems.
- Abstract（参考訳）: Mixture-of-Experts(MoE)モデルのエキスパートスペシャライゼーションは、従来の評価では、アーキテクチャ負荷分散と機能スペシャライゼーションが混在しているため、いまだに理解されていない。
我々は、マルチドメインのベンチマークと、ルーティング特化、正規化有効ランク、ドメイン分離、ルーティング剛性スコア、N-gramExpertiseの5つの理論的な基準を組み合わせた総合的な診断フレームワークDBESを紹介する。
Qwenシリーズは高ドメイン分離でモジュール化された特殊化を示し、DeepSeekとGLMは分散コラボレーションを採用している。
しかし、我々は、専門化は診断の次元であり、下流のパフォーマンスには十分ではないことを強調した。
ドメイン固有のポストトレーニングにおいて、DBESを使用して高度な専門家パスを識別することにより、私たちは、元のトレーニングリソースの15%しか持たない専門ドメインで66%から94.48%の改善を達成し、これらの診断ツールが具体的な最適化演算子に変換できることを実証した。
この研究は、精度の指標とは無関係に専門家の専門性を評価するための最初の体系的な方法論を提供し、次世代のMoEシステムの設計と訓練後の最適化のための重要な洞察を提供する。
関連論文リスト
- SMoES: Soft Modality-Guided Expert Specialization in MoE-VLMs [9.733867547637956]
大規模視覚モデル(VLM)のためのソフトモダリティ誘導エキスパート(SMoES)を提案する。
SMoESは、レイヤ依存の融合パターンをキャプチャする動的軟質度スコアと、専門家と専門家の並列配置に合わせた専門家のバイナリ機構と、バイナリ間の相互情報正規化で構成されている。
4つのMoEベースのVLMと16のベンチマークによる実験では、有効性と効率の両方の改善が示されている。
論文 参考訳（メタデータ） (2026-04-27T03:23:19Z) - MoE Lens -- An Expert Is All You Need [0.09444932939944471]
エキスパートの混合(MoE)モデルは、スパース専門家のアクティベーションを通じてパラメータ効率のスケーリングを可能にする。
本稿では,2つの相補的アプローチを用いて,MoEsの専門家専門化の体系的分析を行う。
論文 参考訳（メタデータ） (2026-03-06T01:35:28Z) - SD-MoE: Spectral Decomposition for Effective Expert Specialization [29.649486549025138]
Mixture-of-Experts (MoE)アーキテクチャは、条件計算によって引き起こされる専門家の専門化を通じて、大規模言語モデルをスケールする。
一部の専門家は機能的に似ていますが、デファクト共有の専門家として機能し、効果的な能力とモデルパフォーマンスを制限します。
スペクトル空間におけるパラメータと勾配の両方を分解するスペクトル分離型MoE(SD-MoE)を提案する。
論文 参考訳（メタデータ） (2026-02-13T03:07:26Z) - Expert Divergence Learning for MoE-based Language Models [21.857507958048696]
本稿では,専門家間の機能的専門化を明確に促進する,新しい事前学習戦略であるExpert Divergence Learningを紹介する。
本手法は,事前学習コーパスに固有のドメインラベルを活用するラベル駆動補助損失を組み込む。
我々は,最大150億パラメータのMoEモデルをスクラッチから事前学習することで,我々のアプローチを検証する。
論文 参考訳（メタデータ） (2026-02-10T06:58:38Z) - MMedExpert-R1: Strengthening Multimodal Medical Reasoning via Domain-Specific Adaptation and Clinical Guideline Reinforcement [63.82954136824963]
医療ビジョンランゲージモデルでは、現実世界のシナリオで必要とされる複雑な臨床推論を伴う知覚タスクが優れている。
本稿ではドメイン固有の適応とガイドライン強化を通じてこれらの課題に対処する新しい推論MedVLMを提案する。
論文 参考訳（メタデータ） (2026-01-16T02:32:07Z) - Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。
本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。
DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
論文 参考訳（メタデータ） (2025-04-09T11:34:06Z) - Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。
MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。
標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
論文 参考訳（メタデータ） (2025-03-05T06:11:24Z) - LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。
我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。
LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
論文 参考訳（メタデータ） (2024-09-29T03:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。