論文の概要: Grokking Beyond the Euclidean Norm of Model Parameters

• arxiv url: http://arxiv.org/abs/2506.05718v1
• Date: Fri, 06 Jun 2025 03:44:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 21:34:56.758404
• Title: Grokking Beyond the Euclidean Norm of Model Parameters
• Title（参考訳）: モデルパラメータのユークリッドノルムを超えたグロッキング
• Authors: Pascal Jr Tikeng Notsawo, Guillaume Dumas, Guillaume Rabusseau,
• Abstract要約: グラッキング(Grokking)とは、勾配に基づく手法でニューラルネットワークを最適化する際の追従の遅延を指す。 グラッキングは, 明示的あるいは暗黙的に, 正規化によって引き起こされることを示す。
• 参考スコア（独自算出の注目度）: 5.547964068902618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grokking refers to a delayed generalization following overfitting when optimizing artificial neural networks with gradient-based methods. In this work, we demonstrate that grokking can be induced by regularization, either explicit or implicit. More precisely, we show that when there exists a model with a property $P$ (e.g., sparse or low-rank weights) that generalizes on the problem of interest, gradient descent with a small but non-zero regularization of $P$ (e.g., $\ell_1$ or nuclear norm regularization) results in grokking. This extends previous work showing that small non-zero weight decay induces grokking. Moreover, our analysis shows that over-parameterization by adding depth makes it possible to grok or ungrok without explicitly using regularization, which is impossible in shallow cases. We further show that the $\ell_2$ norm is not a reliable proxy for generalization when the model is regularized toward a different property $P$, as the $\ell_2$ norm grows in many cases where no weight decay is used, but the model generalizes anyway. We also show that grokking can be amplified solely through data selection, with any other hyperparameter fixed.
• Abstract（参考訳）: グラッキング(Grokking)とは、勾配に基づく手法で人工ニューラルネットワークを最適化する際に過度に適合した後に一般化が遅れたことを指す。 本研究では,グラクキングが正規化によって引き起こされることを示す。 より正確には、利害問題に基づいて一般化する性質$P$(eg, スパース, ローランクウェイト)を持つモデルが存在する場合、$P$(eg, $\ell_1$または核ノルム正規化)の小さいがゼロでない正則化で勾配降下が生じる。 これは以前の研究を拡張し、非ゼロ質量の小さな崩壊がグラッキングを引き起こすことを示した。 さらに,深度を加味して過度パラメータ化を行うことにより,浅い場合では不可能な正規化を明示的に使わずにグラクやアングロクが可能であることを示す。 さらに、$\ell_2$ノルムは、モデルが異なる性質に対して正規化されるときの一般化の信頼できるプロキシではないことを示す。 また、グルーキングはデータ選択によってのみ増幅され、他のハイパーパラメータが固定されることを示す。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Decoupled Weight Decay for Any $p$ Norm [1.1510009152620668]
  トレーニング中の正規化に$L_p$のブリッジをベースとした,スパーシフィケーションに対する単純かつ効果的なアプローチを検討する。 我々は、標準の$L$重み崩壊を任意の$p$ノルムに一般化する新しい重み崩壊スキームを導入する。 標準的な$L$正規化に匹敵する性能を維持しながら、非常に疎結合なネットワークにつながることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-16T18:02:15Z)
• Non-Vacuous Generalization Bounds for Large Language Models [78.42762571499061]
  事前訓練された大言語モデルに対して、最初の空でない一般化境界を提供する。 より大きいモデルはより優れた一般化バウンダリを持ち、より小さなモデルよりも圧縮可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:58:42Z)
• Understanding Grokking Through A Robustness Viewpoint [3.23379981095083]
  ニューラルネットワークの一般的な$l$ノルム(メトリック)は、実際にはグルークするのに十分な条件であることを示す。 我々は、ロバストネスと情報理論に基づく新しいメトリクスを提案し、我々の新しいメトリクスがグラッキング現象とよく相関し、グラッキングを予測するのに使用できることを発見した。
  論文  参考訳（メタデータ） (2023-11-11T15:45:44Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Greedy Pruning with Group Lasso Provably Generalizes for Matrix Sensing [30.508036898655114]
  プルーニングスキームは、大量のパラメータを持つ訓練されたモデルの複雑さを減らすために、実際に広く用いられている。 正規化がない場合の勾配降下は、グリーディプルーニングに適さないモデル、すなわち、多くの列が最大値に匹敵する$ell$ノルムを持つことができる。 以上の結果から,グリーディ・プルーニング+ファインチューニングがより小さなモデルに繋がる理由について,より厳密な考察が得られた。
  論文  参考訳（メタデータ） (2023-03-20T21:05:44Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Estimating Stochastic Linear Combination of Non-linear Regressions Efficiently and Scalably [23.372021234032363]
  サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。 私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
  論文  参考訳（メタデータ） (2020-10-19T07:15:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。