論文の概要: Noise-Driven Escape from Metastable Phases explains Grokking in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2606.17120v1
• Date: Mon, 15 Jun 2026 11:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.072989
• Title: Noise-Driven Escape from Metastable Phases explains Grokking in Deep Neural Networks
• Title（参考訳）: 準安定相からのノイズ駆動エスケープがディープニューラルネットワークのグラッキングを説明
• Authors: Ibrahim Talha Ersoy, Karoline Wiesner,
• Abstract要約: ディープニューラルネットワーク(DNN)はL2正規化強度の変動の下で一階相転移を示すことを示す。 脱走時において,グルーキングのような遅延収束を2桁の規模で再現する。 我々の研究はメタスタブル状態の数が学習可能な特徴の数と等しいことを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) exhibit first order phase transitions under variations of the L2 regularization strength, with each transition marking the onset of a new learnable feature. Below a critical regularization strength, all features are in principle learnable, but coexisting metastable states, separated by energy barriers, can trap the network and impede convergence. A strength of DNNs is their ability to generalize. But many open questions remain, among them the origin of so called grokking: the abrupt, delayed onset of generalization after prolonged apparent overfitting. We show for linear DNNs that grokking is consistent with hysteresis in first-order L2 phase transitions: using L2 regularization to engineer deliberate trapping, we demonstrate that a model in a low-accuracy metastable state escapes only when SGD noise drives it across an energy barrier, with escape times following Arrhenius scaling. We reproduce grokking-like delayed convergence across two orders of magnitude in escape time by deliberately trapping models in metastable phases. Using sparse sub-sampling we also reproduce the canonical grokking curve where test error eventually approaches the final training error. Our work suggests that the number of metastable states equals the number of learnable features -- one per singular value of the data covariance -- the potential for hysteresis grows naturally with task complexity. We provide evidence that the same mechanism likely operates in general nonlinear DNNs. Our results provide routes toward more efficient learning schemes.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、L2正規化強度の変動の下で第一次相転移を示し、各遷移は、新しい学習可能な特徴の開始を示す。 臨界正則化強度以下では、すべての特徴は原則として学習可能であるが、エネルギー障壁によって分離された既存の準安定状態は、ネットワークをトラップし、収束を妨げる。 DNNの強みは、一般化する能力である。 しかし、多くのオープンな疑問が残っており、そのなかには、いわゆる「グルーキング」の起源が残されている。 我々は、L2規則化を用いて意図的にトラップを施し、低精度の準安定状態のモデルがエネルギー障壁を越えてSGDノイズを駆動するときにのみ脱出し、Arrheniusスケーリングの後に脱出することを示した。 我々は,メタスタブル相のモデルを意図的にトラップすることで,避難時間において2桁の遅延収束を再現する。 スパースサブサンプリングを用いて、テストエラーが最終的に最終トレーニングエラーに近づく正準グルーキング曲線を再現する。 我々の研究は、メタスタブルな状態の数は、データ共分散の特異値当たりの学習可能な特徴の数と等しいことを示唆しており、ヒステリシスのポテンシャルはタスクの複雑さとともに自然に増大する。 我々は、この機構が一般的な非線形DNNで機能する可能性が高いことを示す。 我々の結果はより効率的な学習方法への道筋を提供する。

関連論文リスト

• Phase Transitions between Accuracy Regimes in L2 regularized Deep Neural Networks [0.0]
  ディープニューラルネットワーク(DNN)のL2正規化が増加すると、第1次位相遷移がアンダーパラメトリゼーションフェーズに遷移する。 我々は,データの複雑性が増大するにつれて新たな遷移点を予測し,相転移の理論に従って効果の存在を予測する。
  論文  参考訳（メタデータ） (2025-05-10T11:02:30Z)
• The late-stage training dynamics of (stochastic) subgradient descent on homogeneous neural networks [2.1178416840822027]
  均質ニューラルネットワークによる分類の設定について考察する。 正規化SGD反復は、後期訓練において、正規化マージンの臨界点の集合に収束することを示す。
  論文  参考訳（メタデータ） (2025-02-08T19:09:16Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Uncertainty Propagation in Convolutional Neural Networks: Technical Report [13.224071661974593]
  畳み込みニューラルネットワーク(CNN)の典型的な構成ブロックによる不確実性の伝播問題について検討する。 これには線形演算を行うレイヤや、Rectified Linear Unit (ReLU)のような入力に対して非線形に作用するレイヤが含まれる。
  論文  参考訳（メタデータ） (2021-02-11T15:17:46Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。