論文の概要: Mixture of Experts with Soft Nearest Neighbor Loss: Resolving Expert Collapse via Representation Disentanglement

• arxiv url: http://arxiv.org/abs/2603.26734v1
• Date: Fri, 20 Mar 2026 18:29:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.121457
• Title: Mixture of Experts with Soft Nearest Neighbor Loss: Resolving Expert Collapse via Representation Disentanglement
• Title（参考訳）: ソフトな近近距離損失を持つ専門家の混在:表現の絡み合いによる専門家の崩壊を解消する
• Authors: Abien Fred Agarap, Arnulfo P. Azcarraga,
• Abstract要約: Mixture-of-Experts (MoE)モデルは、ゲーティングネットワークの監督下でデータセットのサブセットを専門とする専門家ネットワークのセットを使用する。 SNNL(Soft Nearest Neighbor Loss)を用いた特徴抽出ネットワークを利用したMoEアーキテクチャを提案する。 SNNLを拡張したMoEモデルでは,よりフレキシブルなルーティング戦略をゲーティングネットワークに採用できるように,構造的に多様であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The Mixture-of-Experts (MoE) model uses a set of expert networks that specialize on subsets of a dataset under the supervision of a gating network. A common issue in MoE architectures is ``expert collapse'' where overlapping class boundaries in the raw input feature space cause multiple experts to learn redundant representations, thus forcing the gating network into rigid routing to compensate. We propose an enhanced MoE architecture that utilizes a feature extractor network optimized using Soft Nearest Neighbor Loss (SNNL) prior to feeding input features to the gating and expert networks. By pre-conditioning the latent space to minimize distances among class-similar data points, we resolve structural expert collapse which results to experts learning highly orthogonal weights. We employ Expert Specialization Entropy and Pairwise Embedding Similarity to quantify this dynamic. We evaluate our experimental approach across four benchmark image classification datasets (MNIST, FashionMNIST, CIFAR10, and CIFAR100), and we show our SNNL-augmented MoE models demonstrate structurally diverse experts which allow the gating network to adopt a more flexible routing strategy. This paradigm significantly improves classification accuracy on the FashionMNIST, CIFAR10, and CIFAR100 datasets.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、ゲーティングネットワークの監督の下でデータセットのサブセットを専門とする専門家ネットワークのセットを使用する。 MoEアーキテクチャにおける一般的な問題は、生の入力特徴空間で重複するクラス境界が複数の専門家に冗長な表現を学習させ、それによってゲーティングネットワークを厳格なルーティングに強制する‘専門家崩壊’である。 我々は、ゲーティングやエキスパートネットワークに入力機能を供給する前に、SNNL(Soft Nearest Neighbor Loss)を用いて最適化された特徴抽出ネットワークを利用するMoEアーキテクチャを提案する。 クラス類似データポイント間の距離を最小化するために潜在空間をプレコンディションすることで、構造専門家の崩壊を解消し、高い直交重みを学習する専門家に結果を与える。 我々は、このダイナミクスを定量化するために、エキスパートスペシャライゼーション・エントロピーとペアワイズ・エンベディング・類似性を用いる。 我々は,4つのベンチマーク画像分類データセット(MNIST,FashionMNIST,CIFAR10,CIFAR100)に対する実験的アプローチを評価し,SNNLで拡張したMoEモデルを用いて,より柔軟なルーティング戦略を採用することができることを示す。 このパラダイムは、FashionMNIST、CIFAR10、CIFAR100データセットの分類精度を大幅に改善する。

関連論文リスト

• Synergistic Intra- and Cross-Layer Regularization Losses for MoE Expert Specialization [10.669680236190432]
  そこで本研究では,MoEの特殊化とルーティング効率を向上させる2つのプラグアンドプレイ正規化損失を提案する。 両方の損失をMegatron-LMモジュールとして実装する。
  論文  参考訳（メタデータ） (2026-02-15T14:19:12Z)
• Dynamic-DINO: Fine-Grained Mixture of Experts Tuning for Real-time Open-Vocabulary Object Detection [10.639484582036088]
  本研究では,DINO 1.5 Edge を高密度モデルから効率的な MoE-Tuning 戦略により動的推論フレームワークに拡張する Dynamic-DINO を提案する。 また、ベースモデルのフィードフォワードネットワーク(FFN)を複数のより小さな専門家ネットワークに分解する分解機構を設計する。 実験によると、わずか1.56Mのオープンソースデータで事前トレーニングされたDynamic-DINOは、プライベートなGrounding20Mデータセットで事前トレーニングされたGrounding DINO 1.5 Edgeよりパフォーマンスが優れている。
  論文  参考訳（メタデータ） (2025-07-23T11:51:06Z)
• Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
  CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。 イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
  論文  参考訳（メタデータ） (2025-06-23T02:15:43Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)
• Build a Robust QA System with Transformer-based Mixture of Experts [0.29005223064604074]
  私たちは、ドメイン外のデータセットに適応できる堅牢な質問応答システムを構築しています。 我々は、ドメイン外評価において、最高のアーキテクチャとデータ拡張技術の組み合わせが53.477 F1スコアを達成することを示す。
  論文  参考訳（メタデータ） (2022-03-20T02:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。