論文の概要: Spectral Entropy Collapse as an Empirical Signature of Delayed Generalisation in Grokking

• arxiv url: http://arxiv.org/abs/2604.13123v1
• Date: Mon, 13 Apr 2026 18:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.214009
• Title: Spectral Entropy Collapse as an Empirical Signature of Delayed Generalisation in Grokking
• Title（参考訳）: グローキングにおける遅延一般化の実証的サインとしてのスペクトルエントロピー崩壊
• Authors: Truong Xuan Khanh, Truong Quynh Hoa, Luu Duc Trung, Phan Thanh Duc,
• Abstract要約: 暗記のずっと後の一般化が遅れたグロキングには、機械的な説明が欠けている。 この遷移のスカラー順序パラメータとして正規化スペクトルエントロピー$tildeH(t)$を同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grokking -- delayed generalisation long after memorisation -- lacks a predictive mechanistic explanation. We identify the normalised spectral entropy $\tilde{H}(t)$ of the representation covariance as a scalar order parameter for this transition, validated on 1-layer Transformers on group-theoretic tasks. Five contributions: (i) Grokking follows a two-phase pattern: norm expansion then entropy collapse. (ii) $\tilde{H}$ crosses a stable threshold $\tilde{H}^* \approx 0.61$ before generalisation in 100% of runs (mean lead: 1,020 steps). (iii) A causal intervention preventing collapse delays grokking by +5,020 steps ($p=0.044$); a norm-matched control ($n=30$, $p=5\times10^{-5}$) confirms entropy -- not norm -- drives the transition. (iv) A power-law $ΔT = C_1(\tilde{H}-\tilde{H}^*)^γ+C_2$ ($R^2=0.543$) predicts grokking onset with 4.1% error. (v) The mechanism holds across abelian ($\mathbb{Z}/97\mathbb{Z}$) and non-abelian ($S_5$) groups. Crucially, MLPs show entropy collapse without grokking, proving collapse is necessary but not sufficient -- architecture matters. Code: https://anonymous.4open.science/r/grokking-entropy
• Abstract（参考訳）: グローキングは記憶化のずっと後の一般化が遅れており、予測力学的な説明が欠けている。 この遷移のスカラー順序パラメータとして正規化されたスペクトルエントロピー $\tilde{H}(t)$ をグループ理論上の1層変換器上で検証した。 5つの貢献 (i)グロッキングは二相パターンに従う:ノルム展開、エントロピー崩壊。 (ii)$\tilde{H}$は、100%のランで一般化する前に安定しきい値$\tilde{H}^* \approx 0.61$を渡る(平均リード:1,020ステップ)。 3 崩壊を防止する因果的介入は、+5,020 ステップ (p=0.044$); 標準整合制御 (n=30$, $p=5\times10^{-5}$) によって引き起こされる。 (iv)パワーロー$ΔT = C_1(\tilde{H}-\tilde{H}^*)^γ+C_2$$(R^2=0.543$)は4.1%の誤差でグルーキングを予測する。 (v) この機構はアーベル群($\mathbb{Z}/97\mathbb{Z}$)と非アーベル群($S_5$)にまたがる。 重要な点として、MLPはエントロピーの崩壊を目立たずで示しており、崩壊を証明することは必要だが、アーキテクチャの問題ではない。 コード:https://anonymous.4open.science/r/grokking-entropy

関連論文リスト

• Universal critical timescales in slow non-Hermitian dynamics [0.0]
  非エルミート系は非断熱遷移の遅いパラメトリックループに沿って駆動される。 これらの遷移が発達する臨界時間スケールの$T_mathrmcr$には明確な公式が存在しない。
  論文  参考訳（メタデータ） (2026-04-02T11:35:16Z)
• A Hierarchy of Fibonacci Forbidden-Word Hamiltonians: From the Golden Chain to the Plastic Chain and Aperiodic Order [0.0]
  フィボナッチ語の最小の禁じられた要素を長さ$F_K$まで禁じることで、一次元のフラストレーションのないハミルトン多様体の無限のスケール整列構造を導入する。 基底状態の言語は指数的な成長定数が$_K$で単調に減少する。 本研究では,新禁制パターン毎のエネルギーペナルティが,前回および現在における成長定数の対数比に比例するエネルギーエントロピースケーリングを提案する。
  論文  参考訳（メタデータ） (2025-11-09T23:28:22Z)
• Spectral statistics and energy-gap scaling in $k-$local spin Hamiltonians [0.0]
  正確な$k$スピンに作用する全ての相互作用するスピンハミルトニアンのスペクトル特性について検討する。 $mu = 0$ の場合、ランダム行列のアンサンブルはシステムサイズ $L$ と局所性 $k$ のパリティによって決定されることを示す。 本研究では,確率行列統計学の普遍的特徴とスペクトルギャップ形成を捉える半可解モデルを提案する。
  論文  参考訳（メタデータ） (2025-10-17T17:11:38Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
  自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。 臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
  論文  参考訳（メタデータ） (2023-09-21T18:11:04Z)
• Fidelity and entanglement entropy for infinite-order phase transitions [4.453923176362749]
  無限次量子相転移を持つ量子系の基底状態に対する忠実度と絡み合いエントロピーについて検討する。 特に、スピン=S$トランケーションを持つ量子O(2)モデルを考えると、$S = 1$の無限次ガウス遷移が存在する。 熱力学的値のピークの高さ(chi_F$)は、IOG遷移に1/L$、BKT遷移に1/ln(L)$のパワー則として有限熱力学的値に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-23T06:28:50Z)
• Exact one- and two-site reduced dynamics in a finite-size quantum Ising ring after a quench: A semi-analytical approach [4.911435444514558]
  クエンチ後の等質量子イジング環の非平衡ダイナミクスについて検討する。 1つのスピンと2つの最も近い隣り合うスピンの長時間還元ダイナミクスについて研究した。
  論文  参考訳（メタデータ） (2021-03-23T13:14:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。