論文の概要: Statistical Vignettes on the Grokking Phenomenon

• arxiv url: http://arxiv.org/abs/2610.18811v2
• Date: Thu, 15 Oct 2026 18:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.539494
• Title: Statistical Vignettes on the Grokking Phenomenon
• Title（参考訳）: グルーキング現象の統計ヴィグネット
• Abstract要約: 簡単な解析可能な環境でグルーキングを研究する。 グルーキングが確実に発生するシャープ条件を特定し,一般化高原の長さに関する解析式を導出する。 スペクトルギャップの消失は、コアラーニングと一般化を区別する。
• 参考スコア（独自算出の注目度）: 17.91591753541076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study grokking in a simple, analytically tractable setting whose rich phenomenology allows us to disentangle the effects of initialization, signal strength, weight decay, sample size, and input dimension. These factors can produce superficially similar learning curves through distinct mechanisms, complicating their interpretation. Our analysis distinguishes early fitting through nuisance features, core feature learning, and delayed generalization. We identify sharp conditions under which grokking provably occurs and derive analytic asymptotic expressions for the lengths of the generalization plateaus. Our results also characterize regimes of early generalization and failure to reach a prescribed test accuracy target. We show that the interpolation edge constitutes a distinct dynamical regime, where vanishing spectral gaps separate core learning from generalization, helping clarify the role of proximity to interpolation in existing accounts of grokking. The resulting picture is analogous to fast and slow phases in chemical kinetics and suggests that the lazy-to-rich transition discussed in the literature may reflect a similar separation of dynamical time scales. Our theoretical results are faithfully supported by extensive experiments.
• Abstract（参考訳）: そこで本研究では,初期化,信号強度,重量減衰,試料サイズ,入力寸法の影響を,豊富な現象論により解き放つことのできる,単純で解析的に抽出可能な環境下でのグルーキングについて検討する。 これらの要因は、その解釈を複雑にすることで、異なるメカニズムを通して、表面的に類似した学習曲線を生成することができる。 本分析は, ニュアンス特徴, コア特徴学習, 遅延一般化による早期適応を区別する。 グルーキングが確実に発生するシャープな条件を特定し,一般化高原の長さに対する解析的漸近表現を導出する。 また,本研究の結果は,早期の一般化と,所定の検査精度の目標達成に失敗する要因を特徴づけるものである。 補間エッジは,スペクトルギャップの消失によってコアラーニングが一般化から切り離され,既存のグルーキングの計算において補間に近接する役割が明確になる,明確な力学系を構成することを示す。 結果として得られた画像は、化学力学における高速かつ遅い位相と類似しており、文献で議論された遅延からリッチへの移行は、動的時間スケールの同様の分離を反映している可能性があることを示唆している。 我々の理論結果は広範な実験によって忠実に支持されている。

関連論文リスト

• A Stochastic--Geometric Theory of Scaling Laws in Grokking [6.109217901547081]
  遅延一般化(delayed generalization、egrokking)とは、ニューラルネットワークがトレーニングの初期にトレーニングデータに適合するが、長い遅延の後のみ一般化を開始する現象である。 まず、Adamの最適化力学と重み収縮正則化により誘導される到達可能な解空間のシェルコア位相構成を理論的に特徴づける。 次に、この位相配置の幾何学と最適化軌道が記憶多様体から逃れる解遷移時間を分析する。
  論文  参考訳（メタデータ） (2026-06-29T14:43:02Z)
• Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
  本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。 そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
  論文  参考訳（メタデータ） (2024-10-30T14:09:00Z)
• Grokking at the Edge of Linear Separability [1.024113475677323]
  グルーキングは非単調なテスト損失行動を伴う一般化が遅れている。 問題のパラメータが臨界点に近くても、グラッキングは自然に発生する。
  論文  参考訳（メタデータ） (2024-10-06T14:08:42Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
  これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。 我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。 我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
  論文  参考訳（メタデータ） (2021-05-07T20:23:01Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Extreme Memorization via Scale of Initialization [72.78162454173803]
  我々は,初期化の規模を変えることが,SGDによって誘導される暗黙の正規化に強く影響を与える実験装置を構築する。 一般化能力に影響を及ぼす範囲と方法が、使用したアクティベーションと損失関数に依存することがわかった。 均質なReLU活性化の場合、この挙動は損失関数に起因することが示される。
  論文  参考訳（メタデータ） (2020-08-31T04:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。