論文の概要: Muon Makes the First Mixture-of-Experts Layer Harder to Balance

• arxiv url: http://arxiv.org/abs/2610.37914v1
• Date: Tue, 27 Oct 2026 19:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.325187
• Title: Muon Makes the First Mixture-of-Experts Layer Harder to Balance
• Title（参考訳）: MuonのMixer-of-Experts層はバランスが悪くなった
• Abstract要約: オープンミックスオブエキスパート(MoE)言語モデルは、AdamWの代わりにMuonでトレーニングする。 ほとんどの場合、各ステップの後に調整された各専門家のルーティングスコアに偏りのある負荷のバランスをとる。 我々は、これらのバイアスの幅をどのように変化させるかを測定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many open mixture-of-experts (MoE) language models train with Muon instead of AdamW. Most balance the load with a bias on each expert's routing score, adjusted after every step. Their recipes disagree on whether Muon should also train the router. In models with 55M and 108M active parameters, we measure how the optimizer changes the span of these biases, the largest minus the smallest in a layer. The span grows when all tokens favor the same experts, so it shows how hard a layer is to balance. At learning rates tuned on shorter runs, Muon raised the span of the first MoE layer at every seed, roughly doubling it on average, while the other layers changed much less. The rise came from Muon on the rest of the network, whichever optimizer trained the router. In those runs, the inputs to the first router shared a direction, and soon after the warmup its busiest expert averaged four to seven times its fair share. Over the first 3,000 steps, subtracting the batch mean from these inputs removed this overload while barely changing the loss. On the smaller model, halving Muon's learning rate removed most of the rise and slightly improved the loss. Moving only the router to AdamW made the loads shift more during the warmup and slightly raised the loss, so at this scale the results favor keeping the router on Muon.
• Abstract（参考訳）: 多くのオープン・ミックス・オブ・エキスパート(MoE)言語モデルがAdamWの代わりにMuonでトレーニングしている。 ほとんどの場合、各ステップの後に調整された各専門家のルーティングスコアに偏りのある負荷のバランスをとる。 彼らのレシピは、Muonがルーターを訓練するべきかどうかに異を唱えている。 55Mと108Mのアクティブパラメータを持つモデルでは、最適化器がこれらのバイアスの幅をどのように変化させるかを測定する。 すべてのトークンが同じ専門家を好むと、スパンは拡大します。 短いランで調整された学習率で、Muonは最初のMoE層をすべてのシードで増加させ、平均で約2倍にし、他の層はずっと変化しなかった。 ネットワークの他の部分のMuonからの上昇は、オプティマイザがルーターを訓練するたびに起こりました。 その場合、最初のルータへの入力は方向を共有し、最も忙しい専門家のウォームアップの直後には、フェアシェアの4～7倍だった。 最初の3000ステップで、これらの入力からバッチを減じると、このオーバーロードが取り除かれ、損失はわずかに変化した。 より小さなモデルでは、ムオンの学習率の半減は上昇の大半を排除し、損失をわずかに改善した。 ルータのみをAdamWに移行することで、ウォームアップ中に負荷がより大きくなり、損失はわずかに増加した。

関連論文リスト

• LionMuon: Alternating Spectral and Sign Descent for Efficient Training [48.69598464267559]
  LionMuon は 1 つの Muon ステップを P$ イテレーション毎に、LionMuon は 2 つの EMA 運動量バッファを両方で共有する。 FineWebでトレーニングされた124Mと355Mのモデルでは、$P=2$と$P=5$のLionMuonは、同じ数のトークンでMuon、AdamW、Lion、Signumよりも低損失となる。
  論文  参考訳（メタデータ） (2026-09-28T14:39:14Z)
• Muon Meets Mamba: Spectral Optimization for State Space Models [39.146761527401424]
  我々はMuonとMamba-2130MのAdamWを比較する。 出力プロジェクション上のミューオンは、入力プロジェクションまたはその両方でミューオンに打ち勝つ。 条件付けは利得を説明しない。Muonは、それが訓練される射影の条件数を下げるが、より良い条件付き入力射影は助けとなるものではない。
  論文  参考訳（メタデータ） (2026-08-04T17:10:47Z)
• Muon in Vision Transformers: Optimizer-Recipe Interactions and Gradient Spectra [4.025699523115932]
  主に ImageNet-100 と Pl@ntNet-300K を用いた ViT トレーニングのための Muon について検討した。 我々は,MuonとAdamWの比較を行い,MuonとAdamWを比較した。 MuonはAdamWを一貫して上回り、特に長い尾を持つPl@ntNet macro top-1で大きな利益を得ている。
  論文  参考訳（メタデータ） (2026-05-23T23:11:02Z)
• LionMuon: Alternating Spectral and Sign Descent for Efficient Training [48.69598464267559]
  平均コストを大幅に削減しつつ,Muonのステップの有効性を維持するLionMuonを提案する。 固定周期 P におけるライオンとムオンの更新を交互に行い、その間に1つのデュアルEMA運動量バッファを共有する。 シングルEMAのSignMuonは、それ自体が純粋なMuonを上回っている。
  論文  参考訳（メタデータ） (2026-05-19T13:07:59Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• StableMoE: Stable Routing Strategy for Mixture of Experts [109.0602120199226]
  Mixture-of-Experts (MoE)技術は、安価な計算オーバーヘッドでトランスフォーマーのモデルサイズをスケールアップすることができる。 本稿では、ルーティング変動問題に対処する2つのトレーニング段階を持つStableMoEを提案する。 その結果,StableMoEは収束速度と性能の両面で既存のMoE法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-18T16:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。