論文の概要: From Geometry to Generalization: Why Row Normalization Can Beat Adam and Muon

• arxiv url: http://arxiv.org/abs/2610.11309v1
• Date: Thu, 08 Oct 2026 06:15:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.827345
• Title: From Geometry to Generalization: Why Row Normalization Can Beat Adam and Muon
• Title（参考訳）: 幾何学から一般化へ:ロー正規化がAdamとMuonに勝る理由
• Abstract要約: 行ワイド正規化はフルバッチAdamよりも厳密に高い人口精度が得られることを示す。 クラス平均でのフルバッチトレーニングには、独立して指向するクラス平均とテストノイズの共分散が有効である。
• 参考スコア（独自算出の注目度）: 35.79321975718977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Different optimizers can fit the same training data while selecting classifiers with substantially different geometries, but whether this difference provably affects population performance remains unclear. We show that row-wise normalization can achieve strictly higher population accuracy than full-batch Adam, a proxy for random-reshuffling Adam, and exact-SVD Muon in high-dimensional multiclass classification. Under an isotropic Gaussian-cloud data model, this advantage arises because row normalization's class-wise Euclidean geometry asymptotically preserves the population decision-boundary directions, whereas Adam's coordinate-wise geometry and Muon's spectral geometry introduce nonvanishing distortions. Beyond isotropy, the advantage persists for full-batch training on class means with independently oriented class-mean and test-noise covariances. It holds for power-law spectra with class-mean exponent below one, even under heavily anisotropic test noise. When both covariances are diagonal and sufficiently close, the advantage over Adam can reverse, while applying the same random rotation to both restores it by changing only their alignment with Adam's coordinate axes. Synthetic and last-layer language-model experiments support the predicted advantage.
• Abstract（参考訳）: 異なるオプティマイザは、実質的に異なるジオメトリを持つ分類器を選択しながら、同じトレーニングデータに適合するが、この差が人口パフォーマンスに確実に影響を及ぼすかどうかは不明である。 行ワイド正規化は、ランダムリシャッフルAdamのプロキシであるフルバッチAdamや、高次元のマルチクラス分類における正確なSVD Muonよりも、厳密に高い人口の精度が得られることを示す。 等方的ガウス-クラウドデータモデルの下で、この利点は行正規化のクラスワイドユークリッド幾何学が漸近的に集団決定境界方向を保存するのに対して、アダムの座標ワイド幾何学とムーンのスペクトル幾何学は非消滅歪みをもたらすため生じる。 等方性以外にも、クラス平均におけるフルバッチトレーニングの利点は、独立に指向したクラス平均とテストノイズの共分散によって持続する。 クラス平均指数が1以下で、非常に異方性のあるテストノイズの下でも、パワーロースペクトルを保持する。 両共分散が対角的かつ十分近いとき、アダムの優位性は逆転し、同じランダム回転をアダムの座標軸との整合性だけを変化させることで両共を復元する。 合成および最終層言語モデル実験は、予測された優位性をサポートする。

関連論文リスト

• FairProp: Fair Node Representation Learning via Differentiable Propagation Layers [7.305019142196581]
  グラフニューラルネットワーク(GNN)はノード表現学習の標準ツールであり、ハイテイクな設定での利用が増えている。 本稿では,ノード分類,リンク予測,ノード回帰のための下流予測レベルにおけるグループフェアネスについて検討する。
  論文  参考訳（メタデータ） (2026-10-05T15:10:11Z)
• Not All Nodes Are Created Equal: Homophily-Aware Stratification for Stable GNN Evaluation [5.880659774011303]
  グラフニューラルネットワークは、トランスダクティブノード分類に広く利用されている。 hp は位相対応の層状化処理であり、ノードのホモフィリーを一次層状化軸として扱う。 hpは、ランダムな$k$-foldの2.31と比較して平均安定性ランクが1.49であり、15データセットの13の平均安定性ランクが最低である。
  論文  参考訳（メタデータ） (2026-09-16T11:27:08Z)
• Phases of Muon: When Muon Eclipses SignSGD [15.75466352147896]
  ミューオンと関連するスペクトルは、スケーラブルな方法として強い経験的性能を示し、しばしばアダムを上回っている。 我々は,Muonを含むスペクトルを高次元行列値最小二乗問題で解析する。 我々は,Muonが近似した(確率的な)SignSVDと,Adamのプロキシとして機能する(確率的な)SignSGDに着目し,学習行動を研究するための抽出可能なフレームワークを提供する明示的な決定論的ダイナミクスを導出する。
  論文  参考訳（メタデータ） (2026-05-10T14:11:22Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Learning Equivariances and Partial Equivariances from Data [11.548853370822345]
  群同変畳み込みニューラルネットワーク(G-CNN)は、選択した対称性を尊重する特徴を制約し、これらの対称性がデータに現れるとより一般化する。 本稿では,各層間のデータから部分的および完全同値を学習可能な同変ネットワーク群であるpartial G-CNNを紹介する。
  論文  参考訳（メタデータ） (2021-10-19T19:17:32Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。