論文の概要: EnergyCal: Taming Loss Spikes in Muon-Family Optimizers for Sparse MoE Training

• arxiv url: http://arxiv.org/abs/2610.37062v1
• Date: Tue, 27 Oct 2026 11:31:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.577333
• Title: EnergyCal: Taming Loss Spikes in Muon-Family Optimizers for Sparse MoE Training
• Title（参考訳）: エナジーカル:ムーン・ファミリ・オプティマイザによるスパークス・モエトレーニングでの損失削減
• Abstract要約: エネルギカル(EnergyCal)は、有限ステップニュートン-シュルツ方向の正規化二乗フロベニウスノルムに従ってルート付きエキスパート更新を減衰する軽量な規則である。 我々は,EnergyCal-MuonHが平均しきい値の損失-スパイク負荷を99.51%削減し,最終的な幾何平均パープレキシティを4.06%削減し,スループットコストを緩やかにすることを示した。
• 参考スコア（独自算出の注目度）: 8.832969171530054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse mixture-of-experts (MoE) language-model training can exhibit large loss spikes with Muon-family optimizers. We introduce EnergyCal, a lightweight rule that attenuates routed-expert updates according to the normalized squared Frobenius norm of their finite-step Newton-Schulz directions. EnergyCal leaves the spectral transform unchanged and adds no persistent optimizer state. We evaluate it on a 4B-parameter MoE model. Against a development-selected, lower-learning-rate MuonH recipe, EnergyCal-MuonH reduces mean thresholded loss-spike burden by 99.51% and final geometric-mean perplexity by 4.06%, with a modest throughput cost. With plain Muon at matched nominal learning rate and weight decay, the reduction in mean spike burden averages 95.98% across the two tested exponents, accompanied by small endpoint improvements. These findings support stabilization both with and without Hyperball in the evaluated setting.
• Abstract（参考訳）: Sparse Mixed-of-Experts (MoE)言語モデルトレーニングは、Muonファミリーオプティマイザによる大きな損失スパイクを示すことができる。 エネルギカル(EnergyCal)は、有限ステップニュートン-シュルツ方向の正規化二乗フロベニウスノルムに従ってルート付きエキスパート更新を減衰する軽量な規則である。 EnergyCalはスペクトル変換をそのままにして、永続的なオプティマイザ状態を追加しない。 4BパラメータMOEモデルで評価した。 開発によって選択された低学習率のMuonHレシピとは対照的に、EnergyCal-MuonHは平均しきい値のロススパイク負荷を99.51%削減し、最終的な幾何平均パープレキシティは4.06%削減し、スループットのコストはわずかである。 通常のムーンは名目学習率と重量減少に一致し、平均スパイク負担は2つの試験指数で平均95.98%減少し、エンドポイントの改善が小さい。 以上の結果から,Hyperballの併用および非使用による安定化が示唆された。

関連論文リスト

• MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control [11.887450640680362]
  C_T=sum_tT_t/|W_t|_F$。 バニラムオンは対数的にのみ蓄積できることを示し、探索を制限し、その遅い経験的進展を説明するのに役立つ可能性がある。 本稿では,Gram-Schmidt-GSプロジェクションを用いて各Muon更新の放射成分を重み基準を修正せずに除去するMuonGSを提案する。
  論文  参考訳（メタデータ） (2026-10-27T17:56:40Z)
• MESH: Memory-Efficient Sinkhorn Optimization for Mixture-of-Experts Training [8.832969171530054]
  シンクホーン勾配降下のようなメモリ効率のよい行列は、高密度トランスフォーマー行列のAdamW状態を除去するが、Mixture-of-Experts (MoE) トレーニングへの直接適用は信頼できない。 SAGE/シンクホーンハイブリッドは、状態を0.883GBから0.331GBに低下させるが、同じ設定で観測されたAdamWベースラインよりもはるかに高い3.8265に低下する。
  論文  参考訳（メタデータ） (2026-08-05T03:23:31Z)
• M+Adam: Low-Precision Training via Additive-Multiplicative Optimization [69.5989114185868]
  量子化された重量のトレーニングはコストを削減できるが、しばしば精度が低下する。 本稿では,2つの更新タイプを組み合わせたM+Adamを提案する。 60M-1Bのモデルと1x-8xのチンチラ、BF16、FP8、FP4のマスターウェイトを使用したLLaMA型プレトレーニングでは、M+アダムは一貫して低精度トレーニングを改善している。
  論文  参考訳（メタデータ） (2026-07-12T07:15:47Z)
• Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization [67.29294986811314]
  Muon のようなマトリックスベースは言語モデルの事前学習を著しく高速化するが、AdamW に対する利得は標準の一定重量減衰を用いると縮小する。 この問題に対処するシンプルなラッパーであるHyperballを提案する。 Qwen3スタイルモデルでは、最大1.2Bパラメータで、Muon Hyperballはウェイト崩壊ベースラインよりも20-30%のトークン等価なスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-15T16:09:02Z)
• MuonQ: Enhancing Low-Bit Muon Quantization via Directional Fidelity Optimization [7.243820893114047]
  指向性最適化の原理に基づく低ビットMuonトレーニングフレームワークを提案する。 4ビット精度のMuonQは、トレーニング損失と下流タスク精度の両方において、フル精度のMuonと密接に一致している。 私たちのコードはhttps://github.com/YupSueng/MuonQ.comで公開されています。
  論文  参考訳（メタデータ） (2026-05-12T01:31:32Z)
• Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
  Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。 Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
  論文  参考訳（メタデータ） (2026-05-11T16:26:06Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。