Fugu-MT 論文翻訳(概要): Grokking as Dimensional Phase Transition in Neural Networks

論文の概要: Grokking as Dimensional Phase Transition in Neural Networks

arxiv url: http://arxiv.org/abs/2604.04655v1
Date: Mon, 06 Apr 2026 13:05:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-07 15:49:19.196221
Title: Grokking as Dimensional Phase Transition in Neural Networks
Title（参考訳）: ニューラルネットワークの次元相転移としてのグロッキング
Abstract要約: ニューラルネットワークのグラッキング -- 突然の記憶から一般化への移行 -- は、学習力学の理解に挑戦します。実次元$D$は、サブ拡散(サブクリティカル、$D 1$)から超拡散(スーパークリティカル、$D > 1$)へのオンセットで交差する。
参考スコア（独自算出の注目度）: 2.652953665748039
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural network grokking -- the abrupt memorization-to-generalization transition -- challenges our understanding of learning dynamics. Through finite-size scaling of gradient avalanche dynamics across eight model scales, we find that grokking is a \textit{dimensional phase transition}: effective dimensionality~$D$ crosses from sub-diffusive (subcritical, $D < 1$) to super-diffusive (supercritical, $D > 1$) at generalization onset, exhibiting self-organized criticality (SOC). Crucially, $D$ reflects \textbf{gradient field geometry}, not network architecture: synthetic i.i.d.\ Gaussian gradients maintain $D \approx 1$ regardless of graph topology, while real training exhibits dimensional excess from backpropagation correlations. The grokking-localized $D(t)$ crossing -- robust across topologies -- offers new insight into the trainability of overparameterized networks.
Abstract（参考訳）: ニューラルネットワークのグラッキング -- 突然の記憶から一般化への移行 -- は、学習力学の理解に挑戦します。 8つのモデルスケールにわたる勾配雪崩の有限スケールのスケーリングを通して、グラッキングが \textit{dimensional phase transition} であることが分かる: 有効次元~$D$ は、部分微分的(亜臨界、$D < 1$)から超拡散的(超臨界、$D > 1$)への一般化開始時に、自己組織的臨界性(SOC)を示す。重要なことに、$D$ はネットワークアーキテクチャではなく \textbf{gradient field geometry} を反映する: 合成 i.i.d.\ ガウス勾配はグラフ位相によらず $D \approx 1$ を維持するが、実際の訓練はバックプロパゲーション相関から次元過剰を示す。 grokkingがローカライズした$D(t)$ crossing -- トポロジ間の堅牢 – は、オーバーパラメータネットワークのトレーニング可能性に関する新たな洞察を提供する。

関連論文リスト

Percolation Dynamics in Optimization : Variance Cascades and Discrete Scale Invariance [20.34299008085434]
本研究では、より単純な作業に対応する不変集合に対してディープニューラルネットワークを操ることで知られているグラディエント・ディキセント(SGD)のダイナミクスについて検討する。本稿では,SGF(グラデーションフロー)をパーコレーションプロセスとしてモデル化し,アーキテクチャの対称性を一度に1つではなく個別の同時ブロックにマージする手法を提案する。
論文参考訳（メタデータ） (2026-09-02T09:44:47Z)
Universal Spin Squeezing Dynamical Phase Transitions across Lattice Geometries, Dimensions, and Microscopic Couplings [0.0]
ボゴリューボフ理論は、長い範囲の相互作用状態において、以前に特定されたスケーリング $a_Z* プロット L$ を d+2$ で回復する。これは、短距離相互作用に対する未認識のサブ線形構造を明らかにする。これらの知見は、Rydberg-array、極性分子、トラップイオンプラットフォームにおける絡み合いの発生を制御するための多用途経路を提供する。
論文参考訳（メタデータ） (2026-05-13T18:00:07Z)
Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
論文参考訳（メタデータ） (2026-03-12T18:19:21Z)
Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
論文参考訳（メタデータ） (2026-01-16T23:11:02Z)
Deep Delta Learning [91.75868893250662]
本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
論文参考訳（メタデータ） (2026-01-01T18:11:38Z)
Intrinsic-Metric Physics-Informed Neural Networks (IM-PINN) for Reaction-Diffusion Dynamics on Complex Riemannian Manifolds [0.0]
本研究は,本質的物理インフォームドニューラルネットワーク(IM-PINN)を紹介する。メッシュのない幾何学的深層学習フレームワークであり、連続パラメトリック領域において偏微分方程式を直接解く。このフレームワークは、進化する表面上の生物学的パターンの形成をシミュレートするための、メモリ効率が高く、解像度に依存しないパラダイムを提供する。
論文参考訳（メタデータ） (2025-12-26T12:41:05Z)
Phase transitions reveal hierarchical structure in deep neural networks [0.0]
本稿では,Deep Neural Networksにおける位相遷移が,ロスランドスケープにおけるサドルポイントによって制御されていることを示す。我々は,L2正規化器を誤差景観の幾何学を探索するツールとして用いた,単純で高速で実装が容易なアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-12-05T15:14:09Z)
Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文参考訳（メタデータ） (2024-05-27T18:15:05Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Asymptotics of feature learning in two-layer networks after one gradient-step [39.02152620420932]
本研究では,2層ニューラルネットワークがデータからどのように学習するかを考察し,カーネルの仕組みを改良する。トレーニングネットワークをスパイクされたランダム特徴量(sRF)モデルでモデル化する。高次元極限におけるsRFの一般化誤差を正確に記述する。
論文参考訳（メタデータ） (2024-02-07T15:57:30Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent [28.148743710421932]
ミニバッチ勾配勾配(SGD)アルゴリズムは機械学習モデルのトレーニングに広く用いられている。線形回帰および2層線形ネットワーク下でのSGDダイナミクスについて検討し,より深い線形ネットワークへの拡張を容易にする。
論文参考訳（メタデータ） (2020-04-27T20:06:11Z)
On the Global Convergence of Training Deep Linear ResNets [104.76256863926629]
我々は、$L$-hidden-layer linear residual network(ResNets)のトレーニングのための勾配降下(GD)と勾配降下(SGD)の収束について検討する。入力層と出力層で一定の線形変換を施したディープ残差ネットワークのトレーニングを行う場合,GDとSGDは共に,トレーニング損失の最小限に収束できることを示す。
論文参考訳（メタデータ） (2020-03-02T18:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。