論文の概要: Grokking through the Lens of Minimum-Norm Interpolation

• arxiv url: http://arxiv.org/abs/2609.38453v1
• Date: Tue, 29 Sep 2026 19:44:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.660153
• Title: Grokking through the Lens of Minimum-Norm Interpolation
• Title（参考訳）: 最小ノルム補間レンズのグラッキング
• Abstract要約: 我々は、正規化幾何学と信号空間が一般化をどのように支配するかを特徴付ける統計理論を開発する。 特に、高次元回帰の原型的設定に焦点をあて、空間的プロモーティング正規化が近似的適合よりもはるかに正確であるような規則を同定する。 正規化強度の小さな摂動は、小さなトレーニングエラーを保ちながら、大幅に異なる一般化をもたらす可能性がある。
• 参考スコア（独自算出の注目度）: 25.315895839734566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grokking shows that fitting the training data and learning the underlying signal can occur at very different stages. However, existing theories offer limited quantitative insight into how this delayed generalization depends on inductive bias and signal structure. Our work addresses the gap by developing a statistical theory that characterizes how regularization geometry and signal sparsity govern generalization near interpolation. In particular, we focus on the prototypical setting of high-dimensional regression and identify regimes in which sparsity-promoting regularization makes exact interpolation much more accurate than approximate fitting. In strongly overparameterized noiseless problems, we prove a zero--one generalization law and construct a family of convex norms whose interpolators transition from the trivial risk of the all-zero predictor to exact recovery, while keeping the training error equal to $0$. Furthermore, when feature dimension and sample size are proportional, we provide a precise characterization of training and generalization errors along $\ell_r$-regularization paths. This in turn allows us to quantify the generalization gain that remains near interpolation: we show that this gain increases as the norm becomes more sparsity-promoting and as the target becomes sparser, with a sharp drop in generalization reached for noiseless data and $\ell_1$ regularization. Experiments on diagonal linear networks and transformers trained on modular arithmetic demonstrate the generality of our theoretical predictions. Finally, beyond grokking, our work reveals a statistical instability in minimum-norm interpolation: small perturbations in the regularization strength can lead to drastically different generalization, while preserving small training error.
• Abstract（参考訳）: Grokking氏は、トレーニングデータに適合し、基礎となる信号を学ぶことは、非常に異なる段階で起こりうることを示している。 しかし、既存の理論は、この遅れた一般化が帰納的バイアスと信号構造にどのように依存するかについての限定的な定量的洞察を与える。 我々の研究は、正規化幾何学と信号空間が補間近傍の一般化をどのように支配するかを特徴付ける統計理論を開発することで、このギャップに対処する。 特に、高次元回帰の原型的設定に焦点をあて、空間的プロモーティング正規化が近似フィッティングよりも正確な補間をはるかに正確にする規則を同定する。 強過度に過度にパラメータ化されたノイズレス問題では、ゼロワン一般化法則を証明し、補間器が全ゼロ予測子の自明なリスクから正確なリカバリへと移行し、トレーニング誤差を0$に保った凸ノルムの族を構築する。 さらに、特徴次元とサンプルサイズが比例する場合、$\ell_r$-regularizationパスに沿ってトレーニングと一般化の誤差を正確に評価する。 これにより、補間に近い一般化ゲインの定量化が可能となり、ノルムがよりスパシティ・プロモーティングになり、ターゲットがスペーサーになるにつれて、ノイズのないデータに対する一般化の急激な減少と$\ell_1$正規化によって、このゲインが増加することを示す。 モジュラー算術で訓練された対角線ネットワークと変圧器の実験は、我々の理論予測の一般化を実証している。 正規化強度の小さな摂動は、小さなトレーニングエラーを保ちながら、大幅に異なる一般化をもたらす可能性がある。

関連論文リスト

• The geometry of invariant learning: an information-theoretic analysis of data augmentation and generalization [2.496574213989531]
  一般化と不変学習における拡張の効果を体系的に考慮した情報理論フレームワークを提案する。 提案手法は,学習アルゴリズムが学習データに保持する情報量と一般化ギャップを関連づけた相互情報ベース境界に基づいて構築する。 損失関数と増分過程に関する緩やかな部分ガウスの仮定の下で、期待される一般化ギャップを3つの解釈可能な項に分解する新しい一般化境界を導出する。
  論文  参考訳（メタデータ） (2026-02-16T03:18:39Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。