論文の概要: Deciphering Two Training Clocks in Grokking via Deep Linear Network Theory with Conditional ReLU Reduction
- arxiv url: http://arxiv.org/abs/2606.05863v1
- Date: Thu, 04 Jun 2026 08:39:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.653156
- Title: Deciphering Two Training Clocks in Grokking via Deep Linear Network Theory with Conditional ReLU Reduction
- Title（参考訳）: 条件付きReLU低減を用いたディープリニアネットワーク理論によるグラッキング中の2つのトレーニングクロックの解読
- Authors: Hu Tan, Kuo Gai, Shihua Zhang,
- Abstract要約: Grokking氏は、トレーニングデータに適合し、単純な基本ルールを学ぶことは、異なる時間スケールで起こりうることを示唆している。
我々はこの現象を、分類損失の高速な減衰と学習された表現の緩やかな単純化を分離して定式化する。
対数的時間スケールにおいて,差分成長あるいは一段階抽出条件により,クロスエントロピー損失がレベルエプシロンに減少することを示す。
- 参考スコア（独自算出の注目度）: 18.72807692009739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grokking suggests that fitting the training data and learning a simple underlying rule may occur on different time scales. We formalize this phenomenon by separating the fast decay of the classification loss from the slower simplification of the learned representation, and we call the resulting pair of stopping times two training clocks. For deep linear networks, we show that a post-margin gap-growth or one-step tail-contraction condition reduces the cross-entropy loss to level epsilon on a logarithmic time scale. In contrast, when layerwise weight decay is present, the induced regularization on the end-to-end map can be expressed as a Schatten-type penalty; under a sharp late-time Kurdyka-Lojasiewicz tail, this structural energy closes on a polynomial time scale. The two clocks, therefore, separate fitting from representation simplification. We then explain how the same mechanism can appear in ReLU MLPs. In regions where the activation patterns on the training set remain fixed, the network reduces to a linear model in the active coordinates. In a two-layer ReLU embedding model, chain-rule estimates further show that the classifier head can receive larger effective gradients than the embedding block under controlled downstream norms. This supports a two-stage mechanism in which the classifier fits first, while the representation continues to simplify later. We use modular addition as the main experimental setting. The deep linear theory provides the rigorous core of the analysis. But the ReLU results are formulated as conditional reductions that account for empirical behavior without claiming a global proof for nonlinear training dynamics.
- Abstract（参考訳）: Grokking氏は、トレーニングデータに適合し、単純な基本ルールを学ぶことは、異なる時間スケールで起こりうることを示唆している。
我々はこの現象を、学習された表現の遅さから分類損失の高速な減衰を分離して定式化し、結果として生じる2つのトレーニングクロックを停止時間と呼ぶ。
深層線形ネットワークでは, 対数的時間スケールでのクロスエントロピー損失をレベルエプシロンに減少させる。
対照的に、層単位での重みの崩壊が存在する場合、エンド・ツー・エンドの写像上の誘導正則化はシャッテン型のペナルティとして表すことができ、急激な深夜のクルディカ・ロジャシエヴィチの尾の下では、この構造エネルギーは多項式時間スケールで閉じる。
したがって、2つの時計は表現の単純化とは分離している。
次に、同じメカニズムがReLU MLPにどのように現れるかを説明する。
トレーニングセット上のアクティベーションパターンが固定された領域では、ネットワークはアクティブ座標の線形モデルに還元される。
2層のReLU埋め込みモデルでは、チェーンルル推定により、制御された下流標準の下での埋め込みブロックよりも、分類器ヘッドがより大きな有効勾配を得られることが示される。
これは、分類器が最初に適合する2段階のメカニズムをサポートし、表現は後から単純化され続けている。
モジュールの追加を主要な実験環境として使用しています。
深い線形理論は解析の厳密な中心を与える。
しかし、ReLUの結果は、非線形トレーニングダイナミクスのグローバルな証明を主張することなく、経験的振る舞いを考慮に入れた条件付き還元として定式化されている。
関連論文リスト
- Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。
コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
論文 参考訳（メタデータ） (2026-04-28T19:21:21Z) - Random Matrix Theory of Early-Stopped Gradient Flow: A Transient BBP Scenario [1.2744523252873352]
孤立した固有値がノイズの多いバルクから切り離された後に学習が始まり、オーバーフィッティング体制で消えることを示す。
対応する位相図を写像し、有限サイズのシミュレーションに対して理論を検証する。
論文 参考訳（メタデータ） (2026-04-20T16:05:58Z) - The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold [5.076419064097734]
暗記後の学習は、制約付き最適化のレンズを通して理解することができると論じる。
勾配降下は、零損失多様体上の重みノルムを効果的に最小化することを示す。
実験により,予測勾配を用いた学習過程のシミュレーションは,グルーキングの遅延一般化と表現学習特性の両方を再現することを確認した。
論文 参考訳（メタデータ） (2025-11-02T18:44:42Z) - A dynamic view of some anomalous phenomena in SGD [0.0]
過度にパラメータ化されたニューラルネットワークは二重降下現象を示すことが観察されている。
もう一つの異常な現象は、下降の2つの規則が第3の規則によって中断され、平均的な損失はほぼ一定であるイットグロキングである。
本稿では、2つの時間スケール近似の理論を連続時間制限力学に適用することにより、これらの現象と関連する現象について、妥当な説明を示す。
論文 参考訳（メタデータ） (2025-05-03T09:01:10Z) - Intensity Profile Projection: A Framework for Continuous-Time
Representation Learning for Dynamic Networks [50.2033914945157]
本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。
このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。
さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
論文 参考訳（メタデータ） (2023-06-09T15:38:25Z) - Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。
非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。
我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
論文 参考訳（メタデータ） (2022-01-28T07:31:19Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳（メタデータ） (2021-12-06T18:17:08Z) - Early Stopping in Deep Networks: Double Descent and How to Eliminate it [30.61588337557343]
ネットワークの異なる部分が異なるエポックで学習されるため、エポックワイズな二重降下が発生することを示す。
本研究では,2つの標準畳み込みネットワークを実証的に検討し,異なる階層の段差調整によるエポックな二重降下の除去が早期停止性能を著しく向上させることを示す。
論文 参考訳（メタデータ） (2020-07-20T13:43:33Z) - Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文 参考訳（メタデータ） (2020-02-24T21:32:41Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。