論文の概要: Expert Coupling in MoE Pretraining: Reducing All-to-All Overhead with Correlated Placement and Token Shuffling

• arxiv url: http://arxiv.org/abs/2610.09372v1
• Date: Wed, 07 Oct 2026 03:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.695368
• Title: Expert Coupling in MoE Pretraining: Reducing All-to-All Overhead with Correlated Placement and Token Shuffling
• Title（参考訳）: MoEプレトレーニングにおけるエキスパートのカップリング: 関連位置とトークンシャッフルによるオール・ツー・オール・オーバーヘッドの削減
• Abstract要約: 関連する専門家配置は、しばしば同じGPU上で選択される専門家を配置する。 トークンシャッフルは、シーケンスがEPグループ全体にわたってトークンをシャードするときに適用される。 Megatron-LMでは、トップ2とトップ6のルーティングを持つ8から64までのEP度で、この2つの方法は全時間で1.16-2.63X、エンドツーエンドで1.41Xまで短縮する。
• 参考スコア（独自算出の注目度）: 14.068055785458332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) layers replace the feed-forward block of a Transformer with E expert networks, and each token is routed to k of these experts. Under expert parallelism (EP) the experts are distributed across GPUs, and every MoE layer runs all-to-all collectives in the forward and backward passes to dispatch tokens to their experts and then combine the results. On a cluster with 8 AMD Instinct MI300X GPUs per node, these collectives can take 45% of the training step at EP32 with top-2 routing and 60% with top-6 routing. We find that early in pretraining routers have already learned to assign tokens to experts in correlated patterns, both within a layer and across layers. At top-2, 0.8% of the expert pairs in a layer are selected together by 42% of tokens, and the experts a token selects at one layer predict the experts it selects at the next layer. We use these correlations to keep more token--expert assignments on the token's own GPU, which reduces communication across GPUs and across nodes. Correlated expert placement puts experts that are often selected together on the same GPU. Combined with a dispatcher that sends each token to each GPU once, it removes up to 58% of dispatched rows. Token shuffling applies when sequence parallelism shards tokens across the EP group. It moves each token to the GPU predicted to hold its next-layer experts during the reduce-scatter that follows attention. On one node this raises the share of token--expert assignments served on the token's GPU from 12.5% to 59%. In Megatron-LM, across EP degrees from 8 to 64 with top-2 and top-6 routing, the two methods reduce all-to-all time by 1.16-2.63X and end-to-end step time by up to 1.41X. Neither method changes the models' underlying routing decisions or expert parameters.
• Abstract（参考訳）: Mixture-of-Experts(MoE)レイヤはTransformerのフィードフォワードブロックをE専門家ネットワークに置き換え、各トークンはこれらの専門家のkにルーティングされる。 エキスパート並列(EP)では、専門家はGPUに分散し、すべてのMoEレイヤが前方と後方のすべての集合を実行して、専門家にトークンをディスパッチし、結果を組み合わせる。 ノード毎に8つのAMD Instinct MI300X GPUを持つクラスタでは、EP32のトレーニングステップの45%をトップ2ルーティングで、60%をトップ6ルーティングで行うことができる。 事前トレーニングの早期のルータは、レイヤ内と層間の両方の関連パターンの専門家にトークンを割り当てることを学びました。 上位2では、各レイヤのエキスパートペアの0.8%がトークンの42%で選択され、トークンが選択した専門家は、次のレイヤで選択した専門家を予測する。 我々はこれらの相関を利用してトークンのGPUにより専門的な割り当てを保持し、GPUとノード間の通信を削減します。 関連する専門家配置は、しばしば同じGPU上で選択される専門家を配置する。 各GPUに各トークンを一度送信するディスパッチと組み合わせることで、発行された行の最大58%を削除できる。 トークンシャッフルは、シーケンス並列化がEPグループ全体でトークンをシャードするときに適用される。 トークンをGPUに移動して、注意を引いたリダクションスキャッターの間、次のレイヤの専門家を保持するように予測する。 あるノードではトークン-専門家の割り当てのシェアが12.5%から59%に上昇する。 Megatron-LMでは、トップ2とトップ6のルーティングを持つ8から64までのEP度で、この2つの方法は全時間で1.16-2.63X、エンドツーエンドで1.41Xまで短縮する。 どちらのメソッドも、モデルの根底にあるルーティング決定やエキスパートパラメータを変更しない。

関連論文リスト

• MaskCoFT: Masked Co-Adaptive Fine-Tuning for Memory-Efficient MoE Inference [17.718564947470906]
  MaskCoFTは、クロスエントロピー損失だけでルーターとエキスパートを訓練する。 トークン単位のエキスパートフェッチを23.7%、ベースモデルに対して10.1%削減する。 9つのベンチマークの平均精度は、ベースモデルよりも0.92と0.53ポイント高い。
  論文  参考訳（メタデータ） (2026-09-28T01:12:30Z)
• GenomeOcean Anywhere: Private WebGPU Inference for Genome MoEs [4.564848621539382]
  我々は、信頼されたコーディネータが注意を払ってルーティングを行うシステムを構築し、ブラウザワーカーはすべての専門家フィードフォワードネットワークを実行する。 プローブは、各深さで1つのベクトルからトークンを回収し、1人の作業員は、300個の未順序トークンから92%の精度でソースゲノムを識別できる。 Chromeでは、コード化されたデコーディングはトークンあたり220～376msで実行され、ルーティングのどれだけが隠されているかによって異なり、ワーカーが失敗してもレプリカなしで継続する。
  論文  参考訳（メタデータ） (2026-09-27T00:21:26Z)
• Route Experts by Sequence, not by Token [58.92918003265283]
  Mixture-of-Experts (MoE)アーキテクチャは、トークンごとに専門家のサブセットだけを活性化することによって、大きな言語モデル(LLM)をスケールする。 標準的なTopKルーティングは、すべてのトークンに同じ固定数の専門家を割り当てる。 トークンレベルからシークエンスレベルにシフトする最小限の修正であるシークエンスレベルTopK(SeqTopK)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T18:36:07Z)
• Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
  CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。 イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
  論文  参考訳（メタデータ） (2025-06-23T02:15:43Z)
• Turn Waste into Worth: Rectifying Top-$k$ Router of MoE [111.12838294273033]
  MoEモデルは、その計算効率のために、大きな言語モデルのトレーニングに人気がある。 一般的に使用される上位$のルーティングメカニズムは、アンバランスなルーティングのために冗長性とメモリコストに悩まされる。 ドロップトークンとパディングに対処するため,GPU内整流とFill-in整流を含む整流化を提案する。 これらの組み合わせは、バニラトップ1ルータの精度を4.7%上回る優れた性能を達成する。
  論文  参考訳（メタデータ） (2024-02-17T06:23:27Z)
• Mixtral of Experts [57.411379935325435]
  Mixtral 8x7Bはスパース・ミックス・オブ・エキスパートズ(SMOE)言語モデルである。 Mixtralは数学、コード生成、多言語ベンチマークでLlama 270Bをはるかに上回っている。 また、GPT-3.5 Turbo、Claude-2.1、Gemini Pro、Llama 2 70Bを超越したMixtral 8x7B - Instructという命令に従うように微調整されたモデルも提供する。
  論文  参考訳（メタデータ） (2024-01-08T18:47:34Z)
• Mixture-of-Experts with Expert Choice Routing [44.777850078713634]
  以前の作業では、トップk関数を使用して各トークンに一定数の専門家を割り当てていた。 本稿では,専門家選択手法を用いた異種混合実験を提案する。 本手法は, トレーニング収束時間を2倍以上改善する。
  論文  参考訳（メタデータ） (2022-02-18T17:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。