論文の概要: Beyond Routing: Decoupling Expert Dispatch and Aggregation in Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2608.08853v1
• Date: Sun, 09 Aug 2026 18:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.96948
• Title: Beyond Routing: Decoupling Expert Dispatch and Aggregation in Sparse Mixture-of-Experts
• Title（参考訳）: ルーティングを超えて - スパース混在のエキスパートの分散と集約を分離する
• Abstract要約: これら2つの役割,ディスパッチとアグリゲーションが結合されるべきかどうかを検討する。 構造化されたオラクルは、3つの種に対して0.0160 +/- 0.0039 の完全水平交叉エントロピーを改善する。 FDAAは3つの種に対して Delta CE = -0.1523 +/- 0.0031 で WikiText-103 テストを改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse Mixture-of-Experts (MoE) routers commonly use the same scores both to select experts and to weight their already-computed outputs. We study whether these two roles, dispatch and aggregation, should be coupled. On pretrained OLMoE-1B-7B, we keep selected Top-8 expert IDs, expert computation, and total selected router mass fixed and change only within-set aggregation. A structured oracle improves full-horizon cross-entropy by 0.0160 +/- 0.0039 across three seeds; the router's top-scored expert is the counterfactual-best vertex only 17.2% of the time, with router-utility Spearman 0.030. We therefore train Fixed-Dispatch Adaptive Aggregation (FDAA), a 301K-parameter post-compute head optimized directly with the language-modeling objective while freezing the backbone, router, and experts. On OLMoE, FDAA improves fresh WikiText-103 test by Delta CE = -0.1523 +/- 0.0031 across three seeds, and mixed-domain training gives robust gains on WikiText-103, C4, and held-out Penn Treebank under frozen confirmatory evaluation. We also replicate the fixed-dispatch audit on DeepSeek-V2-Lite, which uses Top-6 routed experts plus shared experts. Best-vertex headroom remains significant on WikiText and C4, while router Top1 identifies the best selected expert in only 12.5% and 16.7% of audited examples. In a one-seed mixed-domain replication, FDAA improves locked WikiText and PTB, while C4 is statistically neutral. These results support a cross-architecture distinction between expert selection and expert commitment.
• Abstract（参考訳）: Sparse Mixture-of-Experts (MoE)ルータは、専門家の選択と、すでに計算済みの出力の重み付けの両方に同じスコアを使用するのが一般的である。 これら2つの役割,ディスパッチとアグリゲーションが結合されるべきかどうかを検討する。 事前訓練されたOLMoE-1B-7Bでは、トップ8の専門家ID、エキスパート計算、合計選択されたルータ質量を固定し、セット内アグリゲーションのみを変更する。 構造化されたオラクルは、3つの種で0.0160 +/- 0.0039 の完全水平交叉エントロピーを改善し、ルータのトップスコアのエキスパートは17.2%で、ルータの実用性は0.030である。 そこで我々は, バックボーン, ルータ, エキスパートを凍結しながら, 言語モデリングの目的に直接最適化した301KのポストコンピュートヘッドであるFixed-Dispatch Adaptive Aggregation (FDAA) を訓練した。 OLMoE では FDAA は Delta CE = -0.1523 +/- 0.0031 による WikiText-103 テストの改善を行い、混合ドメイントレーニングは WikiText-103, C4, およびホールドアウトされた Penn Treebank に対して、凍結確認評価を受けた。 また、DeepSeek-V2-Liteの固定ディスパッチ監査も再現しています。 ベスト頂点のヘッドルームはWikiTextとC4で重要であり、ルータTop1は監査対象の12.5%と16.7%でベストに選ばれた専門家を識別している。 1シードの混合ドメイン複製では、FDAAはWikiTextとTBを改善し、C4は統計的に中立である。 これらの結果は、専門家の選択と専門家のコミットメントを横断的に区別するのに役立つ。

関連論文リスト

• ACE: Adaptive Calibration-Free Expert Skipping for MoE-based LLMs [15.24786135265898]
  Mixture-of-Experts (MoE)アーキテクチャは、大規模言語モデル(LLM)のスケーリングに効率的なパラダイムを提供する。 本稿では,トークン適応型エキスパートスキップのためのトレーニングフリー,キャリブレーションフリー,チェックポイント保存フレームワークであるACEを提案する。
  論文  参考訳（メタデータ） (2026-09-04T14:56:00Z)
• Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models [3.749501286035187]
  再正規化は暗黙的に専門家のアウトプットゲインをトレーニングのトップ$k$に校正することを示す。 再正常化を完全に除去することは破滅的であり、適切な基準質量を維持することが重要であることを示す。
  論文  参考訳（メタデータ） (2026-09-04T00:11:28Z)
• Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms [50.28963615440865]
  再利用した人工物によって3つの融合パラダイムを編成する。 モデルスケールとマルチベンチマークスイートで、共有専門家とデータを使用して、これら3つを比較します。
  論文  参考訳（メタデータ） (2026-08-27T17:38:04Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• AcceptMoE: Commitment-Weighted Self-Sizing Verifier Expert Sets for Efficient MoE Speculative Decoding [21.76650680783374]
  投機的復号化は、1つのターゲットモデルフォワードパスにおけるドラフトトークンのツリーを検証する。 ミックス・オブ・エキスパート(MoE)ターゲットの場合、並列検証はすべてのツリーノードから選択された専門家の団結を活性化することができる。 本稿では,検証側の専門家セレクタであるAcceptMoEを紹介する。
  論文  参考訳（メタデータ） (2026-08-04T01:01:12Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• CLEAR-MoE: Shared-Basis Expert Extraction from Frozen Vision Transformers via Calibration-Driven Layer Selection [0.0]
  CLEAR-MoEは、凍結した事前訓練されたビジョントランスフォーマー(ViT)をバックボーン重みを更新することなく、スパースミクチャー・オブ・エクササイズ(MoE)モデルに変換するポストトレーニングパイプラインである。 GTX 960では、ルーティングと散乱計のオーバーヘッドにより、CLEAR-MoE FFN 1.3-1.7xは高密度ルータよりも遅い。
  論文  参考訳（メタデータ） (2026-06-26T18:12:03Z)
• EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents [64.96332056338923]
  EEVEEは、LLMエージェントのための最初のマルチデータセットテスト時プロンプト学習フレームワークである。 実世界のタスクストリーム下でテスト時のプロンプト学習を可能にする。 EEVEEはQwen3-4B-InstructとDeepSeek-V3.2で平均マルチベンチマークスコアを10.38点、24.32点改善している。
  論文  参考訳（メタデータ） (2026-06-09T17:57:16Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning [0.5076419064097734]
  MoE-SieveはLoRAファインチューニングのためのシンプルなルーティング誘導フレームワークである。 上位25%のルーティングされた専門家のみをチューニングすることは、完全なLoRAと競合し続けています。 また、専門家数と種間差異の非単調な関係も観察した。
  論文  参考訳（メタデータ） (2026-03-25T07:53:09Z)
• Omni-Router: Sharing Routing Decisions in Sparse Mixture-of-Experts for Speech Recognition [22.046185271408202]
  Mixture-of-experts (MoE)アーキテクチャは、言語モデリングから自動音声認識(ASR)へと拡張されている。 我々の分析によると、ほとんどの層におけるルータは、他の層におけるルータの選択と強く相関しない専門家の選択を行う。 異なるレイヤの専門家間の協力を強化し、より高度な専門化を促進するために、私たちは異なるMoE層にまたがる共有ルータを使用します。
  論文  参考訳（メタデータ） (2025-07-08T07:18:33Z)
• Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
  CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。 イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
  論文  参考訳（メタデータ） (2025-06-23T02:15:43Z)
• Mixtral of Experts [57.411379935325435]
  Mixtral 8x7Bはスパース・ミックス・オブ・エキスパートズ(SMOE)言語モデルである。 Mixtralは数学、コード生成、多言語ベンチマークでLlama 270Bをはるかに上回っている。 また、GPT-3.5 Turbo、Claude-2.1、Gemini Pro、Llama 2 70Bを超越したMixtral 8x7B - Instructという命令に従うように微調整されたモデルも提供する。
  論文  参考訳（メタデータ） (2024-01-08T18:47:34Z)
• Mixture-of-Experts with Expert Choice Routing [44.777850078713634]
  以前の作業では、トップk関数を使用して各トークンに一定数の専門家を割り当てていた。 本稿では,専門家選択手法を用いた異種混合実験を提案する。 本手法は, トレーニング収束時間を2倍以上改善する。
  論文  参考訳（メタデータ） (2022-02-18T17:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。