論文の概要: A Statistical Viewpoint on Adam, Shampoo and Muon

• arxiv url: http://arxiv.org/abs/2610.24839v1
• Date: Sat, 17 Oct 2026 19:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:51:57.330085
• Title: A Statistical Viewpoint on Adam, Shampoo and Muon
• Title（参考訳）: アダム・シャンプー・ムーンの統計的視点
• Abstract要約: 正規化確率に基づいて勾配の平均と分散を推定するオンライン手法を提案する。 我々は, 対角線およびクロネッカー型近似を含む, 同じ枠組みにおける共分散に対する構造近似の使い方を示す。 これをホワイトニングステップと組み合わせることで、新しいプリコンディショニングバージョンのMuonであるMN-Muonに到達します。
• 参考スコア（独自算出の注目度）: 12.16036956293658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide new statistical insights into designing stochastic optimization methods. By modeling the gradient via a normal distribution, we argue that the stochastic gradient should be whitened using its covariance. We give an online method for estimating the mean and variance of the gradients based on regularized likelihood or, equivalently, through a maximum a posteriori estimate. We then show how to use structured approximations to the covariance within this same framework, which includes diagonal and Kronecker-factored approximations. The diagonal approximation results in a method that is very closely related to Adam and performs as well in practice. The Kronecker approximation results in the new MN method, which is a variant of Shampoo and KL-Shampoo. We also recover Muon by applying this same statistical framework to the gradient direction rather than the full gradient. By combining this with a whitening step, we arrive at MN-Muon, a novel preconditioned version of Muon. Our experiments on GPT-2-type models at Chinchilla scale indicate that MND, the diagonal implementation of MN, outperforms both the Distributed Shampoo and the KL-Shampoo implementations in terms of stability, final validation loss and time taken. MND-Muon, the diagonal implementation of MN-Muon, improves on Muon in 21 of 24 paired GPT-small runs and achieves a lower best validation loss on GPT-medium, where it remains stable over the six tested learning rates. However, we found that NorMuon was comparable to MND-Muon and achieved a slightly lower validation loss on GPT-medium and at GPT-small batch 512 on FineWeb.
• Abstract（参考訳）: 確率最適化手法の設計に関する新しい統計的知見を提供する。 正規分布を通して勾配をモデル化することにより、確率勾配はその共分散を用いて白くするべきであると論じる。 正規化確率に基づいて勾配の平均と分散を推定するオンライン手法を提案する。 次に、同じフレームワーク内の共分散に構造近似をどう使うかを示す。 対角近似は、アダムと非常に密接な関係を持ち、実際にも同様に機能する手法をもたらす。 Kronecker近似は、シャンプーとKL-シャンプーの変種である新しいMN法をもたらす。 また、この同じ統計的枠組みを全勾配ではなく勾配方向に適用することで、ムオンを回復する。 これをホワイトニングステップと組み合わせることで、新しいプリコンディショニングバージョンのMuonであるMN-Muonに到達します。 チンチラスケールのGPT-2型モデルを用いた実験により,MNの対角的実装であるMNDが,安定性,最終的な検証損失,時間といった点で分散シャンプーとKL-シャンプーの両実装より優れていることが示された。 MN-Muonの対角的な実装であるMND-Muonは、24対のGPT-small実行中の21のMuonを改善し、GPT-medium上での最高の検証損失を低くし、6つのテストされた学習速度で安定している。 しかし、NorMuonはMND-Muonに匹敵し、GPT-mediumとGPT-small batch 512 on FineWebで検証損失をわずかに減らした。

関連論文リスト

• Metropolis-Adjusted Diffusion Models [39.6979566317926]
  スコアベース拡散モデルからのサンプリングは、時間離散化とスコア関数の近似によるバイアスを引き起こす。 拡散モデルにおけるLangevin補正の正確な補正法を, 2つの係数のBernoulliファクトリアルゴリズムに基づいて提案する。
  論文  参考訳（メタデータ） (2026-05-10T16:57:51Z)
• Gaussian Mixture Flow Matching Models [63.092956669059824]
  拡散モデルは正規分布をガウス平均として近似し,その平均を推定する一方,フローマッチングモデルはガウス平均をフロー速度としてパラメータ化する。 離散化誤差による数段階のサンプリングでは性能が低下し、分類器フリーガイダンス(CFG)では過飽和色が生じる傾向にある。 本稿では,CFGの過飽和問題を緩和し,画像生成品質を向上する新しい確率的ガイダンス手法を提案する。
  論文  参考訳（メタデータ） (2025-04-07T17:59:42Z)
• Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
  動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。 提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。 以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
  論文  参考訳（メタデータ） (2023-11-08T21:19:52Z)
• Convergence of Batch Stochastic Gradient Descent Methods with Approximate Gradients and/or Noisy Measurements: Theory and Computational Results [0.9900482274337404]
  BSGD(Block Gradient Descent)と呼ばれる非常に一般的な定式化を用いた凸最適化の研究 我々は近似理論に基づいて,BSGDが世界最小値に収束する条件を確立する。 近似勾配を用いると、BSGDは収束し、運動量に基づく手法は分岐できることを示す。
  論文  参考訳（メタデータ） (2022-09-12T16:23:15Z)
• A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
  分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。 本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。 総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2021-02-09T02:44:24Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。