論文の概要: Hierarchical Muon: Tiled Newton-Schulz Updates for Efficient Muon Optimization
- arxiv url: http://arxiv.org/abs/2606.27216v1
- Date: Thu, 25 Jun 2026 16:05:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.351629
- Title: Hierarchical Muon: Tiled Newton-Schulz Updates for Efficient Muon Optimization
- Title（参考訳）: Hierarchical Muon: 効率的なミューオン最適化のためのNewton-Schulzアップデート
- Abstract要約: ミューオン型は、運動量勾配行列に有限ニュートン-シュルツ写像を適用することにより、高密度ニューラルネットワーク重みに対する更新方向を構築する。
HiMuon は各運動量勾配行列を $T 倍 T$ タイルに分割し、同じ有限ニュートン・シュルツ写像を各タイルに独立に適用し、結果を再組み立てる。
- 参考スコア（独自算出の注目度）: 4.275508336828267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Muon-type optimizers construct update directions for dense neural-network weights by applying a finite Newton-Schulz map to momentum-gradient matrices. For an $H \times W$ matrix, with $r=\min\{H,W\}$ and $s=\max\{H,W\}$, $K$ steps of the full-matrix Newton-Schulz update require $O(r^2 s K)$ work and couple all rows and columns through repeated Gram matrix products. We introduce Hierarchical Muon (HiMuon), a tiled Newton-Schulz scheme for Muon-type optimization. HiMuon partitions each momentum-gradient matrix into $T \times T$ tiles, applies the same finite Newton-Schulz map independently to each tile, and reassembles the results. For finite $T$ below the matrix dimensions, HiMuon defines a local matrix-function map rather than a convergent approximation to the full-matrix update: spectral interactions are preserved within tiles and discarded across tile boundaries. For fixed finite $T$, the leading Newton-Schulz work decreases to $O(H W T K)$, and the computation decomposes into independent small dense matrix operations. This structure enables tile-size-dependent GPU kernels, cross-layer batching, memory-bounded chunking, and runtime tile-size schedules. Experiments on transformer training and controlled matrix-function diagnostics show that HiMuon improves optimizer-step efficiency while keeping training behavior close to full-matrix Muon in the tested regimes.
- Abstract（参考訳）: ミューオン型オプティマイザは、運動量勾配行列に有限ニュートン-シュルツ写像を適用することにより、高密度ニューラルネットワーク重みに対する更新方向を構築する。
a $H \times W$ matrix, with $r=\min\{H,W\}$ and $s=\max\{H,W\}$, $K$ steps of the full-matrix Newton-Schulz update requires $O(r^2 s K)$ work and couple all rows and columns through repeat Gram matrix products。
我々は,Muon型最適化のためのNewton-SchulzスキームであるHiMuon(HiMuon)を導入する。
HiMuon は各運動量階数行列を$T \times T$ tiles に分割し、同じ有限ニュートン・シュルツ写像を各タイルに独立に適用し、結果を再組み立てる。
行列次元の下の有限$T$に対して、HiMuonは全行列更新に対する収束近似ではなく、局所行列関数写像を定義する。
固定有限$T$の場合、主要なニュートン=シュルツの作業は$O(H W T K)$に減少し、計算は独立した小さな密度行列演算に分解される。
この構造により、タイルサイズ依存のGPUカーネル、クロス層バッチ、メモリバウンドチャンキング、実行時のタイルサイズスケジュールが可能になる。
変圧器トレーニングと制御マトリックス機能診断の実験により、HiMuonは試験体制におけるフルマトリクスミューオンに近いトレーニング動作を維持しながら、最適化ステップの効率を向上することが示された。
関連論文リスト
- Two-Tower Quantum Matrix Chain Multiplication: Trading Qubits for Depth [73.08853228981701]
行列連鎖乗法は、科学計算、機械学習、グラフ解析における問題である。
我々は、$K$行列の$mathcalW$を回路深さの量子状態にエンコードする量子サブルーチンであるemphTwo-Tower Matrixを提案する。
論文 参考訳（メタデータ） (2026-07-14T18:42:40Z) - Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。
メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
論文 参考訳（メタデータ） (2026-04-11T00:27:40Z) - The Newton-Muon Optimizer [2.1583596008762935]
我々は,Muonの設計イテレーションに新たな光を放つ代理モデルを導入する。
Newton-Muonと呼ばれる新しい最適化手法は、標準のMuonを暗黙のNewton-typeメソッドとして解釈できることを示している。
論文 参考訳（メタデータ） (2026-04-01T23:29:08Z) - UNSO: Unified Newton Schulz Orthogonalization [10.113387496783007]
ニュートン・シュルツ (NS) はムーン多様体とスティーフェル多様体におけるその役割に対する関心が高まっている。
我々は反復構造を統一されたフレームワーク、Unified Newton-Schulz Orthogonalization (UNSO) に統合する。
これらの学習可能な係数は最適化され、安定した収束で優れた性能を達成する。
論文 参考訳（メタデータ） (2026-01-18T17:54:43Z) - Evolution Strategies at the Hyperscale [57.75314521465674]
本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。
ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。
EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
論文 参考訳（メタデータ） (2025-11-20T18:56:05Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - LREI: A fast numerical solver for quantum Landau-Lifshitz equations [0.0]
我々はLandau-Lifshitz (q-LL) 方程式と量子Landau-Lifshitz-Gilbert (q-LLG) 方程式を解くためのメモリ効率と時間効率のスキーム LREI を開発した。
論文 参考訳（メタデータ） (2025-08-28T20:33:37Z) - Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。
異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。
本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
論文 参考訳（メタデータ） (2024-06-10T13:25:43Z) - Conv-Basis: A New Paradigm for Efficient Attention Inference and Gradient Computation in Transformers [16.046186753149]
最近のLarge Language Models(LLM)におけるトランスフォーマーの成功の鍵は自己認識メカニズムである
我々は、注目行列の畳み込み様構造を利用して、畳み込み行列を用いた注目の効率的な近似法を開発する。
トランスフォーマーモデルにおけるアテンション計算を加速するための新しいパラダイムが、より長いコンテキストへのアプリケーションを支援することを願っています。
論文 参考訳（メタデータ） (2024-05-08T17:11:38Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - Monarch: Expressive Structured Matrices for Efficient and Accurate
Training [64.6871423399431]
大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。
計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。
ハードウェア効率のよい行列(Monarch)のクラスを提案する。
論文 参考訳（メタデータ） (2022-04-01T17:37:29Z) - Newton-LESS: Sparsification without Trade-offs for the Sketched Newton
Update [88.73437209862891]
2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。
本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。
ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
論文 参考訳（メタデータ） (2021-07-15T17:33:05Z) - Metric Transforms and Low Rank Matrices via Representation Theory of the
Real Hyperrectangle [17.808087068037985]
ハイパー矩形から生じる行列の固有ベクトルと固有値の計算方法を示す。
次に、これらの接続と共に新しい手法を使用して、いくつかの新しい構造結果を示す。
論文 参考訳（メタデータ） (2020-11-23T16:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。