論文の概要: Multi-View Latent MoE: Letting Every Router Shape Expert Computation

• arxiv url: http://arxiv.org/abs/2610.40577v2
• Date: Mon, 02 Nov 2026 17:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.372266
• Title: Multi-View Latent MoE: Letting Every Router Shape Expert Computation
• Title（参考訳）: Multi-View Latent MoE: すべてのルータ形状エキスパート計算が可能に
• Abstract要約: エキスパートの選択は、固定されたアクティブな専門家予算の下で、モデル機能に直接影響を与える。 すべての専門家のDense Evaluationは、シングルルータランキングとエキスパートユーティリティ評価ランキングの弱い一致を示している。 複数のルータによるエキスパート選択を改善するために,Multi-View Latent MoEを提案する。
• 参考スコア（独自算出の注目度）: 18.042272531031756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse mixture-of-experts (MoE) models expand parameter capacity by activating a small subset of experts per token. Expert selection directly affects model capabilities under a fixed active-expert budget. Dense evaluation of all experts reveals weak agreement between single-router rankings and expert-utility evaluation rankings, especially in middle and deep layers. Richer signals for selection and computation incur additional cost: selection based on internal expert activations requires preliminary computation, while processing multiple full representations separately through the same expert repeats its computation. We propose Multi-View Latent MoE to improve expert selection with multiple routers and reuse their preferences to modulate expert computation under a fixed expert budget. Its Multi-Router submodule aggregates sigmoid scores from independently initialized routers. These routers develop highly differentiated expert preferences during training, allowing experts strongly favored by one router or jointly supported by several routers to be selected. Multi-View further uses each selected expert's relative scores across routers to mix learned latent views into its input, reusing routing preferences for both selection and computation. Each selected expert executes one forward pass, preserving the active-expert count, expert FLOPs, and all-to-all communication volume. On a 24-layer 10B-A1B model trained on 708B tokens, Multi-View Latent MoE improves the nine-task downstream mean by 1.18 percentage points over the baseline. Multi-Router alone yields a 0.6-percentage-point gain and improves the rank correlation between router scores and evaluated expert utility, with relative increases of 8.1% globally and approximately 58% in the layer with the lowest single-router alignment. Controlled mixing interventions show the model uses input differences that depend on the expert and token.
• Abstract（参考訳）: スパース・ミックス・オブ・エキスパート(MoE)モデルはトークンごとに少数の専門家を活性化することでパラメータ容量を拡大する。 エキスパートの選択は、固定されたアクティブエキスパート予算の下でのモデル機能に直接影響を与える。 すべての専門家のDense Evaluationは、特に中層と深層において、シングルルータランキングとエキスパートユーティリティ評価ランキングの弱い一致を示している。 内部のエキスパートアクティベーションに基づく選択には予備的な計算が必要ですが、同じ専門家を通して複数の完全な表現を別々に処理することは、その計算を繰り返します。 本稿では,複数のルータによるエキスパート選択を改善するためのマルチビュー遅延MoEを提案する。 そのMulti-Routerサブモジュールは、独立に初期化されたルータからのシグモイドスコアを集約する。 これらのルータは、訓練中に高度に差別化された専門家の好みを発達させ、専門家は1つのルータに強く好まれるか、複数のルータに共同で支援される。 Multi-Viewはさらに、選択した専門家の相対スコアをルータ全体で使用して、学習した潜在ビューを入力に混ぜ、選択と計算の両方にルーティングの好みを再利用する。 各専門家は、1つのフォワードパスを実行し、アクティブ-エキスパートカウント、エキスパートFLOP、全通信ボリュームを保存する。 708Bトークンでトレーニングされた24層10B-A1Bモデルでは、Multi-View Latent MoEは9タスクの下流平均をベースライン上で1.18ポイント改善する。 マルチルータだけで0.6ポイントのゲインが得られ、ルータスコアと評価された専門家ユーティリティのランク相関が向上する。 制御された混合介入は、モデルがエキスパートとトークンに依存する入力差を使用することを示す。

関連論文リスト

• MoRA: MoE Pruning via Router Bias Learning and Expert Approximation [40.52010351312256]
  Mixture-of-Experts (MoE)モデルはトークンごとに少数の専門家のみをアクティベートすることで、トークン当たりの限られた計算でパラメータスケーリングを可能にする。 我々は、構造化されたMoEエキスパートプルーニングのためのフレームワークであるMoRA(Reuter Bias Learning and Expert Approximation)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T06:38:43Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Slicing and Dicing: Configuring Optimal Mixtures of Experts [49.5613403644084]
  本研究は,最大6.6Bのパラメータにまたがる2000以上の事前学習走行に関する最初の系統的研究である。 私たちは、全体専門家、専門家の次元、単一層内の異種の専門家サイズ、共有専門家サイズ、ロードバランシングメカニズムを徹底的に変化させています。 専門家の数え方と粒度に焦点を合わせ、その他の選択肢は最終品質に最小限の影響を与える。
  論文  参考訳（メタデータ） (2026-05-12T07:47:22Z)
• Omni-Router: Sharing Routing Decisions in Sparse Mixture-of-Experts for Speech Recognition [22.046185271408202]
  Mixture-of-experts (MoE)アーキテクチャは、言語モデリングから自動音声認識(ASR)へと拡張されている。 我々の分析によると、ほとんどの層におけるルータは、他の層におけるルータの選択と強く相関しない専門家の選択を行う。 異なるレイヤの専門家間の協力を強化し、より高度な専門化を促進するために、私たちは異なるMoE層にまたがる共有ルータを使用します。
  論文  参考訳（メタデータ） (2025-07-08T07:18:33Z)
• Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
  Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
  論文  参考訳（メタデータ） (2025-04-29T11:06:03Z)
• RouterRetriever: Routing over a Mixture of Expert Embedding Models [58.987116118425995]
  本稿では、ルーティング機構を用いて、ドメイン固有の専門家の混在を利用した検索モデルであるReuterRetrieverを紹介する。 RouterRetrieverは、ドメイン固有の専門的な埋め込みモデルを混在させたルーティングの利点を示す最初の研究である。
  論文  参考訳（メタデータ） (2024-09-04T13:16:55Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。