論文の概要: Scaling and Renormalization in Neural Networks: An Effective Renormalization-Group Description of Grokking

• arxiv url: http://arxiv.org/abs/2610.36113v1
• Date: Mon, 26 Oct 2026 18:25:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.400882
• Title: Scaling and Renormalization in Neural Networks: An Effective Renormalization-Group Description of Grokking
• Title（参考訳）: ニューラルネットワークのスケーリングと再正規化:効果的な再正規化群記述
• Abstract要約: Grokkingはディープニューラルネットワーク(NN)における記憶から一般化への遅れた遷移である スケーリングと再正規化群 (RG) の理論がこの力学を記述できるかどうかを検討する。 我々のフレームワークは、グルーキングについて一貫した効果的な記述を提供し、NNダイナミクスを調査するためのツールとして、スケーリングと再正規化グループ形式が提案されている。
• 参考スコア（独自算出の注目度）: 19.1460314708658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grokking is a delayed transition from memorization to generalization in deep neural networks (NNs). We examine whether scaling and renormalization group (RG) theories can describe this dynamics, establishing a quantitative physical framework for neural generalization transitions. For modular addition on a two-layer NN, an ensemble of trained models defines an order parameter (the squared weight norm) and fluctuation proxies for the heat capacity and the susceptibility, with training epoch and weight decay serving as thermal and field control coordinates. To bridge neural architectures to real-space RG, we construct an exact coupling matrix via a second-order expansion of the loss with respect to per-neuron norms and use its Fiedler vector to define an effective geometry. This spectral ordering yields a monotonic spatial decay of coupling strength that is absent under random permutations. We then execute real-space RG by block-spin aggregating adjacent neurons and parameterizing the coupling matrix into off-diagonal band strengths. Linearizing this local RG map yields relevant scaling exponents and five derived critical exponents, with direct empirical estimates matching RG predictions within 1-10%. Overall, our framework provides a consistent effective description of grokking, suggesting the scaling and renormalization group formalism as a tool to investigate NN dynamics.
• Abstract（参考訳）: グロキングは、ディープニューラルネットワーク(NN)における記憶から一般化への遅延である。 スケーリングと再正規化群(RG)の理論がこの力学を記述できるかどうかを考察し、神経一般化遷移の定量的な物理枠組みを確立する。 2層NN上のモジュラー加算のために、訓練されたモデルのアンサンブルは、熱容量と感受性のための秩序パラメータ(正方形ウェイトノルム)とゆらぎプロキシを定義する。 ニューラルネットワークを実空間 RG にブリッジするために,損失の2次展開を通じて実空間 RG に正確な結合行列を構築し,そのFiedler ベクトルを用いて有効幾何を定義する。 このスペクトル秩序は、ランダムな置換の下で欠落する結合強度の単調な空間崩壊をもたらす。 次に、隣接ニューロンをブロックスピンアグリゲートし、結合行列を非対角帯強度にパラメータ化することにより、実空間RGを実行する。 この局所的なRGマップを線形化すると、関連するスケーリング指数と5つの派生したクリティカル指数が得られ、RG予測に一致する直接的経験的推定が1-10%以内となる。 全体として、我々のフレームワークはグルーキングについて一貫した効果的な記述を提供し、NNダイナミクスを調査するためのツールとして、スケーリングと再正規化グループフォーマリズムを提案する。

関連論文リスト

• Learning Deterministic and Stochastic Forced Hamiltonian Systems [0.0]
  ニューラルネットワークを用いた決定論的および強制的なハミルトン系学習のための幾何学的枠組みを開発する。 本稿では,Lagrange-d'Alembert-Euler マップを連結した構造保存ニューラルネットワークのクラスである Generalized Forced Hamiltonian Neural Networks (GFHNNs) を提案する。 パラメータ依存型システムへのフレームワークのさらなる拡張により、パラメトリック一般化強制ハミルトンニューラルネットワーク(PGFHNN)が実現される。
  論文  参考訳（メタデータ） (2026-08-20T06:25:02Z)
• Machine Learning the Strong Disorder Renormalization Group Method for Disordered Quantum Spin Chains [0.0]
  我々は、乱れた長距離相互作用量子スピン鎖の絡み合い構造を推論するために機械学習アルゴリズムを訓練する。 我々は、ランダムフォレストを古典的なベースラインとして、相互作用グラフを直接操作するグラフニューラルネットワーク(GNN)と比較する。 GNNは、乱れ平均ペアリング精度を1に近く達成し、SDRGと優れた定量的一致で絡み合いエントロピー$S(ell)$を再生する。
  論文  参考訳（メタデータ） (2026-03-05T13:35:00Z)
• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• NeuralGrok: Accelerate Grokking by Neural Gradient Transformation [54.65707216563953]
  算術的タスクにおける変換器の一般化を高速化する最適勾配変換を学習する勾配に基づく手法であるNeuralGrokを提案する。 実験により,NeuralGrokは一般化を著しく加速することが示された。 また、NeuralGrokはより安定したトレーニングパラダイムを促進し、モデルの複雑さを常に低減します。
  論文  参考訳（メタデータ） (2025-04-24T04:41:35Z)
• Wilsonian Renormalization of Neural Network Gaussian Processes [1.8749305679160366]
  本稿では,ガウス過程(GP)回帰の文脈でWilsonian RGを実行するための実践的アプローチを示す。 GPカーネルの未学習モードを体系的に統合し,データをIRスケールに設定したGPのRGフローを得る。 このアプローチは、RGフローと学習可能モードと学習不可能モードとの自然な接続を提供することによって、RGとニューラルネットワークの間の構造的な類似性を越えている。
  論文  参考訳（メタデータ） (2024-05-09T18:00:00Z)
• Tensor network renormalization: application to dynamic correlation functions and non-hermitian systems [0.0]
  本稿では,動的相関関数の計算を可能にするLoop-TNRアルゴリズムの実装について述べる。 また,非エルミート系の臨界特性を調べるためにLoop-TNRアルゴリズムが適用可能であることも強調した。
  論文  参考訳（メタデータ） (2023-11-30T18:34:32Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。