論文の概要: Sign compression for Muon: SignMuon, MuonSign, and the Limits of Error Feedback
- arxiv url: http://arxiv.org/abs/2607.29674v1
- Date: Fri, 31 Jul 2026 17:54:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.838441
- Title: Sign compression for Muon: SignMuon, MuonSign, and the Limits of Error Feedback
- Title（参考訳）: Muon の符号圧縮: SignMuon, MuonSign, and the limits of Error Feedback
- Abstract要約: SignMuonは、Muonの更新をパラメータ毎に1ビットに圧縮する。
バイアス圧縮機の標準的な治療法であるエラーフィードバックはSignMuonを救わない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: SignMuon compresses the Muon update to one bit per parameter by taking its elementwise sign, providing the most direct way to run a matrix-aware optimizer under an extremely low communication budget. It outperforms SignSGD in practice, yet it can ascend even on a linear function. Signing the gradient before the Linear Minimization Oracle (LMO), rather than after, does not repair this: we construct a small explicit instance on which sign-before (MuonUSign) and sign-on-both-sides (MuonSign) ascend as well, so no placement of the sign around the oracle descends in general. Error feedback, the standard remedy for a biased compressor, does not rescue SignMuon: when applied to Muon's output, error feedback can fail for every smoothness constant, step size, and momentum. Applied to the gradient, error feedback does work, and EF21-MuonUSign and EF21-MuonSign attain the standard $\mathcal{O}(T^{-1/2})$ rate for the squared gradient norm on smooth nonconvex problems, the latter at one bit in each direction. Experiments then reverse the ordering: across centralized CIFAR-10, federated CIFAR-10, and the nanoGPT speedrun, the strongest compressed method is consistently sign-after-the-LMO, precisely the placement we prove divergent, with the provably convergent variants trailing it. Compressing after the LMO, a heuristic, matters more at these scales than the guarantee does.
- Abstract（参考訳）: SignMuonは、Muonの更新を1ビット単位のパラメータに圧縮し、その要素的なサインを取り、非常に低い通信予算の下でマトリックス対応のオプティマイザを実行するための最も直接的な方法を提供する。
実際にはSignSGDよりも優れていますが、線形関数でも上昇できます。
後続ではなく、Linear Minimization Oracle (LMO) よりも前の勾配に署名することは、これを修復しない: サイン-before (MuonUSign) とSign-on-bothsides (MuonSign) が上昇する小さな明示的なインスタンスを構築する。
バイアス圧縮機の標準的な治療法であるエラーフィードバックは、SignMuonを救わない: Muon の出力に適用すると、スムーズな定数、ステップサイズ、運動量に対してエラーフィードバックが失敗する。
勾配に適用すると、誤差フィードバックは機能し、EF21-MuonUSign と EF21-MuonSign は滑らかな非凸問題に対する二乗勾配ノルムの標準 $\mathcal{O}(T^{-1/2})$ rate を得る。
中央集権型CIFAR-10、フェデレーション型CIFAR-10、ナノGPTスピードランにおいて、最強圧縮法は一貫してサイン・アフター・ザ・LMOであり、正確には発散したことを証明している。
ヒューリスティックなLMOの後に圧縮されることは、保証よりもこの規模で重要である。
関連論文リスト
- Beyond the Matrix Sign: Quadratic Spectral Descent [6.589542614722917]
最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。
GPTプレトレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善している。
論文 参考訳（メタデータ） (2026-09-07T15:07:24Z) - Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。
私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
論文 参考訳（メタデータ） (2026-06-03T09:40:30Z) - LionMuon: Alternating Spectral and Sign Descent for Efficient Training [48.69598464267559]
平均コストを大幅に削減しつつ,Muonのステップの有効性を維持するLionMuonを提案する。
固定周期 P におけるライオンとムオンの更新を交互に行い、その間に1つのデュアルEMA運動量バッファを共有する。
シングルEMAのSignMuonは、それ自体が純粋なMuonを上回っている。
論文 参考訳（メタデータ） (2026-05-19T13:07:59Z) - DynMuon: A Dynamic Spectral Shaping View of Muon [12.175075916077702]
M$を$Up Vtop$に置き換え、あるパラメータを$p$にします。
そこで我々はDynMuonを提案する。DynMuonは、トレーニング時に正からわずかに負に$p$をスケジュールする効率的な動的スペクトル整形法である。
論文 参考訳（メタデータ） (2026-05-16T18:30:11Z) - Does Engram Do Memory Retrieval in Autoregressive Image Generation? [50.31813662801864]
本研究では,Engramモジュールを2次元空間的$n$-gramハッシュ,ゲート融合,KV-cache互換インクリメンタル推論で視覚に適応させる。
ゲート・クランプ・スイープは、エングラムの経路を完全に無効にすることは破滅的であることを示している。
ドナープローブ実験により、一致した、逆数的な、あるいはランダムな同一クラスの例にハッシュ入力を交換すると、統計的に区別不能な次トーケン分布が生じることが示された。
論文 参考訳（メタデータ） (2026-05-13T08:40:46Z) - Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence [15.754779716816174]
ムオンの最大安定ステップサイズは、最大ではなく、勾配の平均特異値でスケールすることを示す。
我々はMuonを事前条件付き勾配法として再評価し、Kronecker-factored curvatureモデルの下で有効収束係数を改善することを示す。
論文 参考訳（メタデータ） (2026-05-13T06:54:01Z) - Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。
VIGORはポリシーモデルのみを使用する単純な報酬です。
数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
論文 参考訳（メタデータ） (2026-05-11T03:15:37Z) - Muon in Associative Memory Learning: Training Dynamics and Scaling Laws [23.350512542598803]
We study Muon in a linear associative memory model with softmax search and ahierarchical frequency spectrum over query-apwer pairs。
我々は、Muonがこの不均衡を緩和し、より速く、より均一な進歩をもたらすことを示す。
論文 参考訳（メタデータ） (2026-02-05T14:49:40Z) - Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。
アダム型学習法は,大規模言語モデルの最小化よりも優れている。
論文 参考訳（メタデータ） (2025-12-18T14:38:39Z) - Error Feedback for Muon and Friends [80.90330715662961]
我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。
我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
論文 参考訳（メタデータ） (2025-10-01T08:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。