論文の概要: Dion3: Full-Stack Orthogonal Updates

• arxiv url: http://arxiv.org/abs/2608.11612v1
• Date: Wed, 12 Aug 2026 03:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.443196
• Title: Dion3: Full-Stack Orthogonal Updates
• Title（参考訳）: Dion3: フルスタックの直交アップデート
• Abstract要約: Dion3は、スタックのすべてのレベルでこのオーバーヘッドを目標とする、Muonの改訂版です。 Dion3は、Muonが達成した損失を改善するが、ステップタイムを最大6倍に短縮する。
• 参考スコア（独自算出の注目度）: 39.76588854070093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Muon optimizer incurs a significant overhead cost due to its cubic-time Newton-Schulz orthogonalization step. When weights are sharded, communication overhead compounds this computational cost, eroding the benefits of Muon in many settings. We present Dion3, a revision of Muon that targets this overhead at every level of the stack. Our Gram Newton-Schulz algorithm reduces the FLOP cost of orthogonalization, our CuteDSL kernels accelerate it by exploiting symmetry, and our megabatching strategy reduces communication overhead. Moreover, we propose a simple change to the update rule that cuts costs even further: selecting only a fraction of the momentum matrix's rows to orthogonalize at each step. This update rule improves on Dion (another "compressed" version of Muon), in both speed and performance. Overall, Dion3 matches or improves on the loss achieved by Muon but reduces optimizer step time by up to 6x. Dion3 is available via the dion package (https://github.com/microsoft/dion) as a drop-in replacement for Muon.
• Abstract（参考訳）: Muonオプティマイザはニュートン=シュルツの直交化ステップのためにかなりのオーバーヘッドコストを発生させる。 重みがシャーディングされた場合、通信オーバーヘッドはこの計算コストを複雑にし、多くの設定でMuonの利点を損なう。 Dion3は、スタックのすべてのレベルでこのオーバーヘッドを目標とする、Muonの改訂版です。 我々のGram Newton-Schulzアルゴリズムは、直交化のFLOPコストを削減し、CuteDSLカーネルは対称性を利用してそれを加速し、我々のメガバッチ戦略は通信オーバーヘッドを減らす。 さらに,各ステップで直交する運動量行列列のごく一部だけを選択することで,コストをさらに削減する更新規則の簡単な変更を提案する。 この更新ルールは、Dion(別の"圧縮"バージョンのMuon)をスピードとパフォーマンスの両方で改善する。 全体としては、Dion3はMuonが達成した損失にマッチするか改善するが、オプティマイザのステップタイムを最大6倍に短縮する。 Dion3 は Dion パッケージ (https://github.com/microsoft/dion) を通じて Muon の代替として利用できる。

関連論文リスト

• Muon Meets Mamba: Spectral Optimization for State Space Models [39.146761527401424]
  我々はMuonとMamba-2130MのAdamWを比較する。 出力プロジェクション上のミューオンは、入力プロジェクションまたはその両方でミューオンに打ち勝つ。 条件付けは利得を説明しない。Muonは、それが訓練される射影の条件数を下げるが、より良い条件付き入力射影は助けとなるものではない。
  論文  参考訳（メタデータ） (2026-08-04T17:10:47Z)
• Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
  Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。 私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2026-06-03T09:40:30Z)
• LionMuon: Alternating Spectral and Sign Descent for Efficient Training [48.69598464267559]
  平均コストを大幅に削減しつつ,Muonのステップの有効性を維持するLionMuonを提案する。 固定周期 P におけるライオンとムオンの更新を交互に行い、その間に1つのデュアルEMA運動量バッファを共有する。 シングルEMAのSignMuonは、それ自体が純粋なMuonを上回っている。
  論文  参考訳（メタデータ） (2026-05-19T13:07:59Z)
• MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models [45.11415579822849]
  アルゴリズムの安定性と数学的帰納率に基づくMuonの一般化誤差について検討する。 そこで我々は,Muonと運動量に基づくSGDのハイブリッドである勾配を用いて,有効混合Muon(MiMuon)を提案する。 我々のMiMuonアルゴリズムは、Muonアルゴリズムと同じコンバージェンスレートが$O(frac1NTbig)$である。
  論文  参考訳（メタデータ） (2026-05-19T09:56:27Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• Dion2: A Simple Method to Shrink Matrix in Muon [19.766325230655173]
  Dion2 は,Muon の反復に係わる行列を,従来の手法に比べてはるかに単純な方法で縮小する手法である。 高いレベルでは、Dion2は各行または列の分数を選択し、それらのみを正規化する。
  論文  参考訳（メタデータ） (2025-12-01T16:58:10Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Dion: Distributed Orthonormalized Updates [27.66769374729482]
  Dion(Distributed Orthonormalization)はスケーラブルで効率的な更新ルールである。 ニュートン=シュルツの繰り返しをモーメントバッファー上のアモータイズされたパワーの繰り返しに置き換える。 エラーフィードバックを伴うランク制限パラメータにより、品質と大幅なコスト削減のバランスをとる低ランクな更新が可能になる。
  論文  参考訳（メタデータ） (2025-04-07T17:49:37Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。