論文の概要: GaP-MoE : Explicit Expert Specialization in Mixture-of-Experts via Orthogonal Gradient Accumulation and Projection

• arxiv url: http://arxiv.org/abs/2610.29355v1
• Date: Wed, 21 Oct 2026 07:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.279993
• Title: GaP-MoE : Explicit Expert Specialization in Mixture-of-Experts via Orthogonal Gradient Accumulation and Projection
• Title（参考訳）: GaP-MoE : 直交勾配累積・投射による混合実験のエキスパートスペシャライゼーション
• Abstract要約: GaP-MoEは損失関数を変更するのではなく、専門家の勾配を誘導する。 実験の結果,GaP-MoEは標準SMoEに匹敵する性能を示した。
• 参考スコア（独自算出の注目度）: 3.2134581404884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Mixture-of-Experts (SMoE) models improve scalability by routing input tokens to only a subset of expert networks, but they often suffer from representation collapse, in which multiple experts converge toward similar functions and lose their intended diversity. Prior work has addressed this limitation either by improving router architectures or by introducing auxiliary loss terms that implicitly penalize similarity among experts. However, router-based approaches remain vulnerable to routing collapses, and loss-based approaches can conflict with the task's original objective during optimization. In this work, we propose GaP-MoE (Gradient Accumulation and Projection in MoE), which induces expert specialization by directly manipulating expert output gradients rather than modifying the loss function. At each training step, GaP-MoE stochastically selects one of the $TopK$ routed experts as a leader based on normalized routing scores, and projects the gradients of the remaining follower experts onto the orthogonal complement of the subspace spanned by the leader's recent gradients. This removes directional overlap between expert gradients without altering the task loss, allowing specialization to emerge as a direct consequence of the optimization dynamics rather than an externally imposed constraint. We evaluate GaP-MoE in both fine-tuning settings (BERT-based, on GLUE) and from-scratch pretraining settings (GPT-2-based, on WikiText-103, enwik8, and text8), and further confirm its compatibility as a drop-in module for existing SMoE architectures. Experimental results show that GaP-MoE achieves performance comparable to or better than standard SMoE.
• Abstract（参考訳）: SMOE(Sparse Mixture-of-Experts)モデルは、入力トークンを専門家ネットワークのサブセットにルーティングすることでスケーラビリティを向上させるが、複数の専門家が同様の機能に収束し、意図した多様性を失うような表現の崩壊に悩むことが多い。 これまでの研究では、ルータアーキテクチャの改善や、専門家間の類似性を暗黙的に罰する補助的な損失項の導入によって、この制限に対処してきた。 しかし、ルータベースのアプローチはルーティングの崩壊に弱いままであり、損失ベースのアプローチは最適化中にタスクの本来の目的と矛盾する可能性がある。 本稿では,損失関数の修正ではなく,専門家の出力勾配を直接操作することで,専門家の専門化を促すGaP-MoE(Gradient Accumulation and Projection in MoE)を提案する。 トレーニングステップ毎に、GaP-MoEは、正規化されたルーティングスコアに基づいて、ルーティングされたエキスパートの1つをリーダーとして確率的に選択し、残りのフォロワーのエキスパートの勾配を、リーダの最近の勾配にまたがる部分空間の直交補完に投影する。 これにより、タスク損失を変更することなく専門家の勾配間の方向性の重なりを取り除くことができ、外部に課された制約ではなく、最適化ダイナミクスの直接的な結果として特殊化が実現される。 我々は,GP-MoEを細調整設定(BERTベース,GLUEベース)とスクラッチ事前訓練設定(GPT-2ベース,WikiText-103,enwik8,text8)の両方で評価し,既存のSMoEアーキテクチャのドロップインモジュールとして互換性を確認した。 実験の結果,GaP-MoEは標準SMoEに匹敵する性能を示した。

関連論文リスト

• Redundancy Meets Synergy: Dependency-aware Expert Selection for MoE via Submodular Optimization [61.27524718261322]
  そこで我々は,DS-MoEを提案する。DS-MoEは,サブモジュールの差分最適化により,専門家の選択をナビゲートする理論的基盤を持つフレームワークである。 DS-MoEは必須のエキスパートの組み合わせを効果的に保存し,最先端のベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-09-30T18:33:27Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
  Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。 最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。 ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
  論文  参考訳（メタデータ） (2026-05-06T14:15:10Z)
• Synergistic Intra- and Cross-Layer Regularization Losses for MoE Expert Specialization [10.669680236190432]
  そこで本研究では,MoEの特殊化とルーティング効率を向上させる2つのプラグアンドプレイ正規化損失を提案する。 両方の損失をMegatron-LMモジュールとして実装する。
  論文  参考訳（メタデータ） (2026-02-15T14:19:12Z)
• Evolutionary Router Feature Generation for Zero-Shot Graph Anomaly Detection with Mixture-of-Experts [60.60414602796664]
  ゼロショットGADのための進化的ルータ特徴生成(EvoFG)を備えた新しいMoEフレームワークを提案する。 EvoFGは最先端のベースラインを一貫して上回り、強力で安定したゼロショットGAD性能を実現している。
  論文  参考訳（メタデータ） (2026-02-12T06:16:51Z)
• ERMoE: Eigen-Reparameterized Mixture-of-Experts for Stable Routing and Interpretable Specialization [13.182475975397251]
  ERMoEは、学習したゲーティングログを"Eigenbasis Score"に置き換えるスパースなMoE変換器である ERMoE は ImageNet 分類と クロスモーダル画像テキスト検索ベンチマークにおける最先端の精度を実現する。 3D MRI変異体(ERMoE-ba)は、脳年齢予測の精度を7%以上改善し、解釈可能な専門家の専門化をもたらす。
  論文  参考訳（メタデータ） (2025-11-14T05:31:37Z)
• RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging [69.2230254959204]
  我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。 我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。 属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-08-03T14:51:58Z)
• Advancing Expert Specialization for Better MoE [22.88847592702946]
  Mixture-of-Experts (MoE)モデルは、入力毎に専門家のサブセットだけを活性化することにより、大きな言語モデル(LLM)の効率的なスケーリングを可能にする。 一般的に使用される補助負荷分散損失は、しばしば専門家の重複と過度に均一なルーティングをもたらす。 本稿では,2つの相補的目的を取り入れた,シンプルで効果的な解を提案する。
  論文  参考訳（メタデータ） (2025-05-28T13:09:47Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。