論文の概要: Redundancy Meets Synergy: Dependency-aware Expert Selection for MoE via Submodular Optimization

• arxiv url: http://arxiv.org/abs/2610.00558v1
• Date: Wed, 30 Sep 2026 18:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.699615
• Title: Redundancy Meets Synergy: Dependency-aware Expert Selection for MoE via Submodular Optimization
• Title（参考訳）: サブモジュール最適化によるMoEのための依存性を意識したエキスパート選択
• Abstract要約: そこで我々は,DS-MoEを提案する。DS-MoEは,サブモジュールの差分最適化により,専門家の選択をナビゲートする理論的基盤を持つフレームワークである。 DS-MoEは必須のエキスパートの組み合わせを効果的に保存し,最先端のベースラインよりも優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 61.27524718261322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Mixture-of-Experts (MoE) models effectively scale model capacity through sparse activation, their deployment is often bottlenecked by prohibitive memory requirements. Extracting a compact subset of experts presents a promising solution. However, existing expert selection heuristics predominantly rely on Top-k ranking, which isolates the evaluation of individual experts and ignores the intricate inter-expert dependencies introduced by the MoE gating network. In this paper, we propose DS-MoE, a theoretically grounded framework that redefines expert selection via difference-of-submodular (DS) optimization. By analyzing the second-order Taylor expansion of the loss degradation, we reveal functional duality within expert combinations: redundancy (where experts encode overlapping representations) and synergy (where experts provide complementary error cancellation). To navigate this duality, we mathematically decouple redundancy reduction from synergy maximization by formulating the selection objective as a DS function. Furthermore, we devise a tailored majorization-minimization (MM) algorithm with provable monotonicity guarantees to efficiently identify the optimal expert subset. Extensive experiments demonstrate that DS-MoE effectively preserves indispensable expert combinations, achieving superior performance compared to the state-of-the-art baselines.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルはスパースアクティベーションによってモデルキャパシティを効果的にスケールするが、そのデプロイメントは禁止されたメモリ要求によってボトルネックになることが多い。 専門家のコンパクトなサブセットを抽出することは、有望な解決策を示す。 しかし、既存の専門家選択ヒューリスティックスは、主にTop-kランキングに依存しており、個々の専門家の評価を分離し、MoEゲーティングネットワークによって導入された複雑な専門家間の依存関係を無視している。 本稿では,DS-MoEを提案する。DS-MoEは,サブモジュールの差分最適化により,専門家の選択を再定義する理論的な基盤となるフレームワークである。 損失劣化の2階テイラー展開を分析することにより、冗長性(専門家が重複表現をエンコードする部分)と相乗性(専門家が相補的エラーキャンセルを行う部分)という、専門家の組み合わせにおける機能的双対性を明らかにする。 この双対性をナビゲートするために,DS関数として選択対象を定式化することにより,相乗効果の最大化から冗長性低減を数学的に分離する。 さらに,最適化可能な単調性保証付き正規化最小化(MM)アルゴリズムを考案し,最適な専門家サブセットを効率よく同定する。 DS-MoEは必須のエキスパートの組み合わせを効果的に保存し、最先端のベースラインと比較して優れた性能を発揮する。

関連論文リスト

• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• Advancing Expert Specialization for Better MoE [22.88847592702946]
  Mixture-of-Experts (MoE)モデルは、入力毎に専門家のサブセットだけを活性化することにより、大きな言語モデル(LLM)の効率的なスケーリングを可能にする。 一般的に使用される補助負荷分散損失は、しばしば専門家の重複と過度に均一なルーティングをもたらす。 本稿では,2つの相補的目的を取り入れた,シンプルで効果的な解を提案する。
  論文  参考訳（メタデータ） (2025-05-28T13:09:47Z)
• Finding Fantastic Experts in MoEs: A Unified Study for Expert Dropping Strategies and Observations [86.90549830760513]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 多様な視点から専門家の重要度を推定するためのベンチマークとして,MoE Experts Compression Suite (MC-Suite)を提案する。 我々は,SMoEsの指示追従能力が主に損なわれるという,実験的に検証された予想を提示する。
  論文  参考訳（メタデータ） (2025-04-08T00:49:08Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning [3.8813502422318127]
  低ランク適応(LoRA)のためのMixix-of-experts(MoE)アーキテクチャは、パラメータ効率の微調整(PEFT)における潜在的方向として出現している。 まず,バニラMoEの類似表現に専門家が崩壊し,モジュール設計の能力と計算効率が制限されることを示す定性解析を行った。 これらの知見に触発されて、直交混合(OMoE)を提案する。 提案手法は,バニラMOEモデルと比較して最小限の専門家を惹起するため,メモリボトルネックを緩和する。
  論文  参考訳（メタデータ） (2025-01-17T09:27:08Z)
• Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [59.43462055143123]
  The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。 本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。 我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
  論文  参考訳（メタデータ） (2023-10-15T07:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。