論文の概要: Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking

• arxiv url: http://arxiv.org/abs/2609.10657v1
• Date: Wed, 09 Sep 2026 16:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.097049
• Title: Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking
• Title（参考訳）: 記憶-一般化遷移の定量化--グローキングのスケーリング法則と相構造
• Abstract要約: モジュラー算術上の 2 つの隠れた一般化の 384 構成に対して、0.8-to- Generalization 境界を写像する。 データ複雑性は、モデルキャパシティではなく、政権移行の主要な要因である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks trained past memorization frequently undergo a delayed transition to generalization, a phenomenon known as grokking. Despite theoretical progress on \emph{why} this transition occurs, the quantitative structure of \emph{when} it occurs in hyperparameter space remains uncharacterized. We map the memorization-to-generalization boundary across 384 configurations of two-hidden-layer MLPs on modular arithmetic, fitting a power-law scaling relation for generalization onset time: $T_{\mathrm{grok}} \propto H^{-0.27}\, D^{-2.04}\, η^{-0.50}\, λ^{-0.64}$ ($R^2 = 0.732$; $0.821$ with interactions). The exponent hierarchy reveals that data complexity ($D^{-2.04}$) is the dominant driver of regime transition, not model capacity ($H^{-0.27}$): doubling data accelerates generalization by ${\sim}4\times$, while doubling width yields only ${\sim}1.2\times$. A sharp phase boundary at weight decay $λ\gtrsim 1.0$ separates grokking from non-grokking configurations, and weight norm trajectories show monotonic compression during the transition, consistent with implicit regularization selecting low-complexity solutions. These results provide a quantitative foundation for predicting and controlling regime transitions in overparameterized networks.
• Abstract（参考訳）: 過去の記憶をトレーニングしたニューラルネットワークはしばしば、グラッキングとして知られる一般化への移行が遅れている。 この遷移は理論的に進行するが、超パラメータ空間で発生する \emph{when} の定量的構造は、まだ不定形のままである。 モジュラー算術上の 2 層 MLP の384 構成の記憶と一般化の境界をマッピングし、一般化の開始時刻に電力則スケーリング関係を適合させる: $T_{\mathrm{grok}} \propto H^{-0.27}\, D^{-2.04}\, η^{-0.50}\, λ^{-0.64}$$$$R^2 = 0.732$; $0.821$。 指数階層は、データ複雑性(D^{-2.04}$)がモデルキャパシティではなく政権移行の主要因であることを明らかにする(H^{-0.27}$)。 ウェイト崩壊時の鋭い位相境界$λ\gtrsim 1.0$は、グラッキングを非グロキング構成から分離し、ウェイトノルム軌道は、低複雑さの解を選択する暗黙の正規化と整合して、遷移中に単調な圧縮を示す。 これらの結果は、過パラメータ化されたネットワークにおける状態遷移を予測し、制御するための定量的基盤を提供する。

関連論文リスト

• Universal Spin Squeezing Dynamical Phase Transitions across Lattice Geometries, Dimensions, and Microscopic Couplings [0.0]
  ボゴリューボフ理論は、長い範囲の相互作用状態において、以前に特定されたスケーリング $a_Z* プロット L$ を d+2$ で回復する。 これは、短距離相互作用に対する未認識のサブ線形構造を明らかにする。 これらの知見は、Rydberg-array、極性分子、トラップイオンプラットフォームにおける絡み合いの発生を制御するための多用途経路を提供する。
  論文  参考訳（メタデータ） (2026-05-13T18:00:07Z)
• Wavelet Variance Equipartition as a Threshold for World-Model Quality and Quantum Kernel TN-Simulability [0.0]
  我々はウェーブレットスケーリング指数$$を臨界診断として同定する。 振幅符号化された量子カーネルの古典的シミュラビリティのシャープな遷移境界として$=1/2$を確立する。 この分散は、厳密には$Var[X] = (d-2)$としてスケールする。
  論文  参考訳（メタデータ） (2026-05-12T05:41:12Z)
• Weight-Decay Turns Transformer Loss Landscapes Villani: Functional-Analytic Foundations for Optimization and Generalization [2.9582724435853858]
  本稿では,標準トランスフォーマーの目標-エントロピー損失を$L2$正規化した,厳密な機能解析手法として初めて提供する。 正規化損失 $mathcalF$ は無限微分可能であり、少なくとも二次的に成長し、ガウス積分可能な尾を持ち、微分成長条件 $-mathcalF + tfrac1s|nablamathcalF|2 を満たす。
  論文  参考訳（メタデータ） (2026-05-07T17:22:19Z)
• Dimensional Criticality at Grokking Across MLPs and Transformers [2.652953665748039]
  異なる力学系間の急激な遷移は、複雑なシステムの目印である。 オフライン雪崩探査機 textbfTDU-OFC (Thresholded Diffusion Update--Olami-Feder-Christensen) を紹介する。 モジュラー加算と XOR で訓練された一般化を訓練したトランスフォーマーは、拡散ベースラインの局所的交差をD=1$で発見する。
  論文  参考訳（メタデータ） (2026-04-06T13:43:20Z)
• Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
  一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。 この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-03-16T16:18:18Z)
• Why Grokking Takes So Long: A First-Principles Theory of Representational Phase Transitions [0.0]
  グロッキング(Grokking)は、モデルがトレーニングデータを記憶してから長く経った突然の記憶である。 正規化学習力学におけるノルム駆動表現相転移からグラッキングが生じることを示す第一原理理論を提案する。
  論文  参考訳（メタデータ） (2026-03-05T17:28:39Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• KPZ scaling from the Krylov space [83.88591755871734]
  近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。 これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
  論文  参考訳（メタデータ） (2024-06-04T20:57:59Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Large Stepsize Gradient Descent for Logistic Loss: Non-Monotonicity of the Loss Improves Optimization Efficiency [47.8739414267201]
  線形分離可能なデータを用いたロジスティック回帰に一定の段差を持つ勾配降下(GD)を考える。 GD はこの初期振動位相を急速に終了し、$mathcalO(eta)$ steps となり、その後$tildemathcalO (1 / (eta t) )$ convergence rate が得られることを示す。 我々の結果は、予算が$T$ ステップであれば、GD は攻撃的なステップサイズで $tildemathcalO (1/T2)$ の加速損失を達成できることを示している。
  論文  参考訳（メタデータ） (2024-02-24T23:10:28Z)
• Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization [59.65871549878937]
  実用的な単一ループ加速勾配追跡には$O(fracgamma1-sigma_gamma)2sqrtfracLepsilon)$が必要であることを証明している。 我々の収束率は$O(frac1epsilon5/7)$と$O(fracLmu)5/7frac1(1-sigma)1.5logfrac1epsilon)$よりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-04-06T15:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。