論文の概要: How Does Orthogonalization Adapt to the Neural Network Hessian Structure? A Gradient Self Outer-Product Analysis at Initialization

• arxiv url: http://arxiv.org/abs/2610.28975v1
• Date: Tue, 20 Oct 2026 22:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.156831
• Title: How Does Orthogonalization Adapt to the Neural Network Hessian Structure? A Gradient Self Outer-Product Analysis at Initialization
• Title（参考訳）: 直交化はニューラルネットワークのヘッセン構造にどのように適応するか? : 初期化時の緩やかな自己外積解析
• Abstract要約: ミューンの暗黙のプレコンディショナーはニューラルネットワークのヘシアンに適していることを示す。 言語モデルでは,$mathbfVmathbfVtop$の対角線支配が観測されているが,なぜニューラルネットワークが生成するのかは説明されていない。
• 参考スコア（独自算出の注目度）: 29.426396222985563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Muon orthogonalizes a weight matrix's momentum before each step, and on neural networks this simple preconditioner beats AdamW in a wide range of tasks. Existing analyses explain Muon within general optimization frameworks or on a few specific models, and many of them view orthogonalization as a preconditioner. Since the Hessian is the optimal preconditioner under a quadratic approximation of the loss, these works leave a basic question open: what makes orthogonalization suited to the Hessian of a neural network? Prior work shows that the layer-wise Hessian of a neural network is row-block diagonally dominant, and Muon's implicit preconditioner, the Kronecker product $(\mathbf{V}\mathbf{V}^\top)^{1/2}\otimes\mathbf{I}$ with $\mathbf{V}$ the momentum, has the same row-block structure exactly when $\mathbf{V}\mathbf{V}^\top$ is diagonally dominant. Diagonal dominance of $\mathbf{V}\mathbf{V}^\top$ has been observed in language models, but why a neural network produces it has not been explained. This work provides a quantitative asymptotic theory for neural networks at initialization, and points out the intuition that the overparameterization of the weight matrices drives the diagonal dominance. We analyze $\mathbb{E}[\mathbf{G}\mathbf{G}^\top]$, which equals $\mathbb{E}[\mathbf{V}\mathbf{V}^\top]$ at initialization, in four canonical models: symmetric matrix factorization, deep linear networks, two-layer ReLU networks, and single-layer linear attention. In each case the diagonal entries outgrow the off-diagonal ones at explicit rates as the hidden dimensions grow; for the query, key and value weights of attention the off-diagonal vanishes altogether. Simulations of the four models and experiments on language models at initialization confirm the predicted scaling.
• Abstract（参考訳）: ミューオンは各ステップの前に重み行列の運動量を直交し、ニューラルネットワークではこの単純なプレコンディショナーが幅広いタスクでAdamWを破る。 既存の分析では、一般的な最適化フレームワークやいくつかの特定のモデルでMuonを説明しており、その多くが直交化を前提条件と見なしている。 Hessianは損失の2次近似の下で最適なプレコンディショナーであるため、これらの研究は基本的な疑問を残している: ニューラルネットワークのHessianに直交化が適しているのか? 以前の研究は、ニューラルネットワークの階層的ヘシアンがローブロック的に支配的であり、ムーンの暗黙の前提条件であるクロネッカー積 $(\mathbf{V}\mathbf{V}^\top)^{1/2}\otimes\mathbf{I}$ with $\mathbf{V}$ 運動量は同じ行ブロック構造を持ち、$\mathbf{V}\mathbf{V}^\top$ が対角的に支配的であることを示している。 言語モデルでは、$\mathbf{V}\mathbf{V}^\top$の対角支配が観測されているが、なぜニューラルネットワークがそれを生成するのかは説明されていない。 この研究は、初期化時のニューラルネットワークに対する定量的漸近理論を提供し、重み行列の過度パラメータ化が対角線支配を駆動するという直感を指摘する。 対称行列分解、深層線形ネットワーク、二層ReLUネットワーク、単層線形注意の4つの標準モデルにおいて、初期化時に$\mathbb{E}[\mathbf{V}\mathbf{V}^\top]$と等しい$\mathbb{E}[\mathbf{G}\mathbf{G}^\top]$を分析する。 それぞれの場合、対角成分は、隠された次元が大きくなるにつれて、対角成分を明示的な速度で増加させ、クエリー、キーおよび値の重みは、対角成分が完全に消滅する。 初期化時の言語モデルに関する4つのモデルと実験のシミュレーションにより、予測スケーリングが確認された。

関連論文リスト

• Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit [66.20349460098275]
  一般ガウス多次元モデル $f(boldsymbolx)=g(boldsymbolUboldsymbolx)$ の勾配降下学習を隠蔽部分空間 $boldsymbolUin mathbbRrtimes d$ で研究する。 リンク関数上の一般的な非退化仮定の下では、層次勾配勾配勾配によって訓練された標準的な2層ニューラルネットワークは、$o_d(1)$テスト誤差でターゲットを不可知的に学習できることを示す。
  論文  参考訳（メタデータ） (2025-11-19T04:46:47Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• On the Impacts of the Random Initialization in the Neural Tangent Kernel Theory [10.360517127652185]
  ネットワークの幅が無限大になる傾向があるため、ランダム初期化を伴うニューラルネットワークはガウス過程$fmathrmGP$に収束することが知られている。 カーネルレグレッションの伝統的な理論を採用するため、最近の研究は、ネットワークの出力が開始時にゼロであることを保証するために、特別なミラー化されたアーキテクチャを導入した。
  論文  参考訳（メタデータ） (2024-10-08T02:22:50Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Largest Eigenvalues of the Conjugate Kernel of Single-Layered Neural Networks [0.0]
  最大固有値は、よく知られた線形確率行列のアンサンブルと同じ極限(確率)を持つことを示す。 これは機械学習の応用にとって大きな関心事かもしれない。
  論文  参考訳（メタデータ） (2022-01-13T00:48:20Z)
• Deformed semicircle law and concentration of nonlinear random matrices for ultra-wide neural networks [29.03095282348978]
  本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。 経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-09-20T05:25:52Z)
• Global Convergence of Gradient Descent for Asymmetric Low-Rank Matrix Factorization [49.090785356633695]
  非対称な低ランク分解問題: [mathbbRm min d , mathbfU$ および MathV$ について検討する。
  論文  参考訳（メタデータ） (2021-06-27T17:25:24Z)
• Analysis of One-Hidden-Layer Neural Networks via the Resolvent Method [0.0]
  ランダムニューラルネットワークによって動機づけられた確率行列 $M = Y Yast$ と $Y = f(WX)$ を考える。 制限スペクトル分布のStieltjes変換は、いくつかの誤差項まで準自己整合方程式を満たすことを証明している。 さらに、前回の結果を加法バイアス $Y=f(WX+B)$ の場合に拡張し、$B$ は独立なランク1のガウス確率行列である。
  論文  参考訳（メタデータ） (2021-05-11T15:17:39Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。