論文の概要: The Weight Norm Sets the Grokking Timescale: A Causal Delay Law

• arxiv url: http://arxiv.org/abs/2606.13753v1
• Date: Thu, 11 Jun 2026 15:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.545763
• Title: The Weight Norm Sets the Grokking Timescale: A Causal Delay Law
• Title（参考訳）: ウェイトノームは、重力波の時間スケールを定めている:因果遅れの法則
• Authors: Truong Xuan Khanh, Doan Hoang Viet, Luu Duc Trung, Phan Thanh Duc,
• Abstract要約: グロッキングはニューラルネットワークにおける一般化の遅れの始まりであり、トレーニングデータに適合してから長く経つ。 重み劣化を伴う自由トレーニングでは、重みノルムが値 Wc に達するとネットワークが揺らぐ。 代わりに、Wc の固定された多重ローにノルムを挟み込み、それをそこに保持すると、ネットワークは依然としてグロークするが、遅延はexp(alpha rho) に比例する T_grok に従う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grokking is the delayed onset of generalization in neural networks, arising long after they fit the training data. Whether the weight norm causes this delay is disputed: some studies report a critical norm at the transition, others observe grokking with no fixed norm at all. We settle this by intervening on the norm during training rather than only observing it. Under free training with weight decay, networks grok when the weight norm reaches a value Wc that varies little across seeds and learning rates (CV 1 to 2 percent) and grows with the modular base as a power law. When we instead clamp the norm to a fixed multiple rho of Wc and hold it there, the network still groks, but the delay follows T_grok proportional to exp(alpha rho). One exponent, alpha near 7.5, fits this delay across four moduli (R^2 = 0.996). Over the swept ranges the held norm moves the delay by about 19x and the learning rate by only about 2x, and holding the norm above Wc slows grokking rather than preventing it. A final LayerNorm removes the dependence by decoupling weight scale from the network function; without it the exponential law returns. This pinned-norm delay is the exponential counterpart to the logarithmic delay predicted for a freely contracting norm.
• Abstract（参考訳）: グロッキングはニューラルネットワークにおける一般化の遅れの始まりであり、トレーニングデータに適合してから長く経つ。 ウェイトノルムがこの遅延を引き起こすかどうかは議論の余地があり、ある研究では遷移において臨界ノルムを報告し、他の研究では、固定ノルムを全く持たずにグルーキングを観察する。 私たちはこれを観察するだけでなく、トレーニング中に標準に介入することで解決します。 減量による自由トレーニングでは、重み基準が種子や学習速度(CV 1から2%)にほとんど変化しない値Wcに達するとネットワークが揺らぎ、電力法則としてモジュラーベースで成長する。 代わりに、Wc の固定された多重ローにノルムを割ってそれを保持すると、そのネットワークは依然としてグロークするが、遅延はexp(alpha rho) に比例して T_grok に従う。 7.5付近の指数の1つは、この遅延を4つのモジュラー(R^2 = 0.996)に収まる。 この範囲で、保持されたノルムは、約19倍の遅延と学習率をわずか2倍の速度で移動し、Wc上のノルムを保持すると、それを防ぐよりは遅くなる。 最後のLayerNormは、ネットワーク関数からウェイトスケールを分離することで依存を取り除く。 このピン付きノルム遅延は、自由収縮ノルムに対して予測される対数遅延と指数関数的に一致する。

関連論文リスト

• Capacity-Constrained Online Convex Optimization with Delayed Feedback [58.59385794080679]
  容量制約下での遅延オンライン凸最適化(OCO)について検討した。 1次フィードバックの場合、容量$C = (log T)$ sufficesで標準遅延OCOレートを対数係数まで回復できることがわかった。 包帯フィードバックの場合、後悔率は$(1 + _textmax/C)$で変調される。
  論文  参考訳（メタデータ） (2026-06-10T06:37:06Z)
• Saturating Scaling Laws for Equational Discovery: A Phenomenology of Growth Dynamics in Three Toy Substrates with Two Real-World Replications [0.0]
  決定論的方程式発見基板における成長ダイナミクスについて検討する。 短距離基板サイズは、tbに比例するパワーローN(t)に適合する。 飽和パワーロー dN/dt = K Nk exp(-mu N) で、純粋なパワーローが短距離近似である。
  論文  参考訳（メタデータ） (2026-05-14T21:37:29Z)
• Why Grokking Takes So Long: A First-Principles Theory of Representational Phase Transitions [0.0]
  グロッキング(Grokking)は、モデルがトレーニングデータを記憶してから長く経った突然の記憶である。 正規化学習力学におけるノルム駆動表現相転移からグラッキングが生じることを示す第一原理理論を提案する。
  論文  参考訳（メタデータ） (2026-03-05T17:28:39Z)
• To Grok Grokking: Provable Grokking in Ridge Regression [24.785366757570202]
  古典的な尾根回帰条件において, オーバーフィッティング後の一般化の開始点であるグラッキングについて検討した。 理論的にも経験的にも、グルキングは原則的に増幅または排除できることを示す。 以上の結果から,グルーキングは深層学習の固有の障害モードではなく,特定の訓練条件の結果であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-27T16:52:04Z)
• VL Norm: Rethink Loss Aggregation in RLVR [23.196933474967224]
  RLVR(Reinforcement Learning with Verifiable Rewards)における動的生成長の特性に合わせた損失集約手法を提案する。 理論的にも経験的にも,様々な長さが政策損失に与える影響を解析することにより,最小分散非バイアス推定器として問題を再検討する。 我々の提案したVLノルムは、真の政策損失の偏りのない見積もりを提供するだけでなく、理論の勾配分散を最小化する。
  論文  参考訳（メタデータ） (2025-09-09T09:52:34Z)
• Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent [63.43247232708004]
  非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。 既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。 我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
  論文  参考訳（メタデータ） (2023-08-18T10:00:27Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective [90.39123717733334]
  そこで本研究では,Shduled Weight Decay (SWD) 法と呼ばれる,減量のための最初の実用的なスケジューラを提案する。 我々の実験は、SWDが実際に大きな勾配ノルムを緩和し、適応モーメント推定(Adam)の従来の定重崩壊戦略を著しく上回っていることも裏付けている。
  論文  参考訳（メタデータ） (2020-11-23T00:39:49Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。