論文の概要: Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms

• arxiv url: http://arxiv.org/abs/2509.23933v1
• Date: Sun, 28 Sep 2025 15:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.541826
• Title: Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms
• Title（参考訳）: ベンチマークを超えて:内部メカニズムによるMixture-of-Expertsモデルの理解
• Authors: Jiahao Ying, Mingbao Lin, Qianru Sun, Yixin Cao,
• Abstract要約: Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。 内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。 その結果,(1)モデルの発展に伴ってニューロンの利用が減少し,より高度な一般化が期待できる,(2)ベンチマークのパフォーマンスが限られた信号のみを提供するダイナミックな軌道を示す,(3)複数の専門家の協力的貢献からタスク完了が生じる,(4)ニューロンレベルでの活性化パターンがデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。
• 参考スコア（独自算出の注目度）: 55.1784306456972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) architectures have emerged as a promising direction, offering efficiency and scalability by activating only a subset of parameters during inference. However, current research remains largely performance-centric, with limited understanding of its internal mechanisms, thereby constraining broader progress. In this work, we use an internal metric to investigate the mechanisms of MoE architecture by explicitly incorporating routing mechanisms and analyzing expert-level behaviors. Through systematic analyses of a wide range of publicly available MoE models, we uncover several findings: (1) neuron utilization decreases as models evolve, reflecting stronger generalization; (2) training exhibits a dynamic trajectory, where benchmark performance alone provides limited signal while MUI reveals deeper insights; (3) task completion emerges from collaborative contributions of multiple experts, with shared experts driving concentration; and (4) activation patterns at the neuron level provide a fine-grained proxy for data diversity. Together, these results demonstrate the potential of MUI as a complementary indicator to benchmark performance, offering new insights into the capacity, dynamics, and specialization of MoE models. Our project can be found at https://yingjiahao14.github.io/MoE-MUI/.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。 しかしながら、現在の研究は主にパフォーマンス中心であり、内部メカニズムの理解が限られており、より広範な進歩が制限されている。 本研究では、内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。 1)モデルが進化するにつれてニューロンの利用が減少し,より強力な一般化が反映される,(2)トレーニングはダイナミックな軌跡を示す,(2)ベンチマークパフォーマンスのみが限られた信号を提供する,2)MUIは深い洞察を示す,(3)タスク完了は複数の専門家の協力的貢献から生じ,(4)ニューロンレベルでの活性化パターンはデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。 これらの結果は、MUIがパフォーマンスをベンチマークするための補完的な指標となる可能性を示し、MoEモデルのキャパシティ、ダイナミクス、特殊化に関する新たな洞察を提供する。 私たちのプロジェクトはhttps://yingjiahao14.github.io/MoE-MUI/で確認できます。

関連論文リスト

• Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
  本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。 USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
  論文  参考訳（メタデータ） (2025-08-18T02:42:16Z)
• MoIIE: Mixture of Intra- and Inter-Modality Experts for Large Vision Language Models [52.876185634349575]
  我々は、モダリティ内およびモダリティ間エキスパート(MoIIE)の混合をLVLM(Large Vision-Language Models)に組み込むことを提案する。 それぞれのトークンに対して、専門家のルーティングはそのモダリティによってガイドされ、それぞれのモダリティの専門家と、モダリティ間のエキスパートの共有プールにトークンを指示する。 5.5B と 11.3B の活性化パラメータを持つ MoIIE モデルは,既存のオープンソース MoE-LLM ベースのマルチモーダルモデルの性能に適合するか,さらに上回っている。
  論文  参考訳（メタデータ） (2025-08-13T13:00:05Z)
• Mixture of Experts in Large Language Models [3.1494372222592224]
  MoEアーキテクチャは、最小の計算オーバーヘッドを維持しながら、モデルパフォーマンスを大幅に向上させる。 本分析では,モデルキャパシティの向上,タスク固有性能の向上,モデルキャパシティの効率向上など,MoEの重要なメリットを明らかにした。 このレビューでは、現在の研究の制限、オープンな課題、将来的な方向性について概説し、MoEアーキテクチャとそのアプリケーションにおける継続的なイノベーションの基礎を提供する。
  論文  参考訳（メタデータ） (2025-07-15T10:36:43Z)
• CoMoE: Contrastive Representation for Mixture-of-Experts in Parameter-Efficient Fine-tuning [10.215751315734018]
  我々は,MoEのモジュール化と特殊化を促進するために,MoE(CoMoE)のコントラスト表現を提案する。 いくつかのベンチマークやマルチタスク環境での実験では、CoMoEはMoEのキャパシティを継続的に向上し、専門家間のモジュール化を促進することができる。
  論文  参考訳（メタデータ） (2025-05-23T06:58:44Z)
• On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating [75.29576838162714]
  DeepSeekMoEは、共有専門家戦略の展開と正規化されたシグモイドゲーティングメカニズムの2つのユニークな特徴から際立っている。 本研究では, 共有専門家戦略と正規化シグモイドゲーティングの両方において, サンプル効率の利得を明らかにするために, 専門家推定タスクの収束解析を行う。
  論文  参考訳（メタデータ） (2025-05-16T04:58:18Z)
• Quadratic Gating Mixture of Experts: Statistical Insights into Self-Attention [28.17124843417577]
  混合専門家モデル(MoE)は、計算オーバーヘッドを保ちながら、モデルのキャパシティを効果的にスケーリングすることで知られる。 我々は,MoEと自己注意機構の厳密な関係を確立し,自己注意行列の各行が線形専門家の二次ゲーティング混合として記述可能であることを示す。 自己注意の式における値行列に非線形アクティベーション関数を適用可能な,新規なemphactive-attention機構を提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:06:37Z)
• Multi-Head Mixture-of-Experts [100.60556163597946]
  MH-MoE(Multi-Head Mixture-of-Experts)を提案する。 MH-MoEは、他のSMoE最適化手法の実装と分離が容易であり、性能向上のために他のSMoEモデルとの統合が容易である。
  論文  参考訳（メタデータ） (2024-04-23T13:47:09Z)
• T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
  大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。 我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。 Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。