論文の概要: Is Grokking a Loss of Normal Hyperbolicity of the Interpolation Manifold?

• arxiv url: http://arxiv.org/abs/2608.14803v1
• Date: Fri, 14 Aug 2026 18:16:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.08724
• Title: Is Grokking a Loss of Normal Hyperbolicity of the Interpolation Manifold?
• Title（参考訳）: グロッキングは補間多様体の正規双曲性を失うか?
• Abstract要約: 高速スロー系において、多様体は遅い多様体の役割を担っている。 急激な一般化遷移は遷移時に崩壊しないことを示す。 これは分岐仮説に対する予備的な証拠である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A recent line of work recasts the post-memorization phase of grokking as constrained optimization: once a network interpolates the training set, weight decay drives a slow drift along the zero-loss manifold toward lower norm. In the language of dynamical systems, this is a fast-slow system in which the interpolation manifold plays the role of a slow manifold. We ask a question that this framing makes natural but the existing literature does not address: is the sharp generalization transition a loss of normal hyperbolicity of that manifold: a fold- or bifurcation-like event in which a normal restoring direction goes flat? Or does the manifold stay uniformly attracting while generalization happens by smooth drift? We propose a simple, optimizer-agnostic diagnostic: the smallest nonzero singular value $σ_{\min}^{+}(\mathbf J)$ of the residual Jacobian, which, for the squared loss, equals the slowest normal restoring rate of the manifold. On a two-layer ReLU network trained to grok modular addition under squared loss, $σ_{\min}^{+}(\mathbf J)$ does not collapse at the transition; it is near zero only before memorization and attains its largest values during the transition. The result holds across five seeds, and the six smallest singular values behave identically; there is no subspace-local collapse either. This is preliminary evidence against the bifurcation hypothesis and in favor of the smooth-contraction picture. We are explicit that a single-setting, gradual-transition experiment under Adam optimizer does not prove the absence of a bifurcation; it constrains where one could hide.
• Abstract（参考訳）: ネットワークがトレーニングセットを補間すると、ウェイト崩壊はゼロロス多様体に沿って緩やかなドリフトを低ノルムに向かって駆動する。 力学系の言語において、これは、補間多様体が遅い多様体の役割を果たす高速スロー系である。 急激な一般化遷移は、その多様体の正規双曲性の損失である: 折りたたみや双曲のような、通常の回復方向が平坦な事象? あるいは、一般化が滑らかなドリフトによって起こる間、多様体は均一に引き寄せられますか? 残留ヤコビアンの最小の非零特異値 $σ_{\min}^{+}(\mathbf J)$ は、二乗損失に対して、多様体の最も遅い正規回復率と等しい。 2層のReLUネットワーク上では、二乗損失の下でモジュラー加算をグルークするよう訓練されているが、$σ_{\min}^{+}(\mathbf J)$は遷移時に崩壊しない。 結果は5つの種にまたがって保持され、6つの最小特異値は同一に振る舞う。 これは分岐仮説に対する予備的な証拠であり、滑らかな収縮像を支持する。 我々は、アダム・オプティマイザ(Adam Optimizationr)の下で、単セットで漸進的な遷移実験が分岐がないことを証明していないことを明言している。

関連論文リスト

• Optimization Geometrodynamics: Variational Reduction and Interaction Curvature [0.0]
  我々は、この隠れ行列式プッシュフォワードの変分理論として、測地力学を発展させる。 アフィン事前還元の場合、誘導的相互作用曲率(英語版)は負半有限作用素 $-G*H-1G$ である。 閉全測地線ファイバーを持つ大域的解析バンドルと、特異な解析的近接制御器部とを証明した。
  論文  参考訳（メタデータ） (2026-07-07T18:42:00Z)
• Semidefinite Relaxations for Collision-Free Motion Planning [53.160637667144876]
  C4トラジェクトリの観点で,inmathbbRn制約を通じて開始からゴールへ移動するポイントロボットに焦点をあてる。 C4トラジェクトリによる最小スナップ連続計画のプランナとしての有効性を示す。
  論文  参考訳（メタデータ） (2026-06-12T03:18:03Z)
• Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
  不変学習は、構造が統計的に識別可能であっても失敗することがある。 ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。 合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
  論文  参考訳（メタデータ） (2026-06-11T05:49:43Z)
• Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression [65.82017723631897]
  自己正規化マルティンガレのスケール不変上界が可能であることを示す。 通常の正規化ペナルティを含まない自己正規化濃度不等式を導出する。
  論文  参考訳（メタデータ） (2026-05-02T22:39:00Z)
• $Z^2$-Sampling: Zero-Cost Zigzag Trajectories for Semantic Alignment in Diffusion Models [6.21141073537668]
  インプリシット Z-サンプリングは、中間状態が作用素双対性によって代数的に消滅できることを証明する。 Z2$-Samplingのカップルは動的にキャッシュされたテンポラルセマンティックサロゲートで暗黙の代数的崩壊を行う。
  論文  参考訳（メタデータ） (2026-04-26T05:16:54Z)
• Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
  一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。 この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-03-16T16:18:18Z)
• Finite time path field theory and a new type of universal quantum spin chain quench behavior [0.0]
  急激なクエンチと急激なクエンチの差は,摂動の非定常スイッチングが時間とともに指数関数的に消えることを示す。 また、類似の普遍的行動は、障害のクエンチ、そして究極的には大域的行動に存在することを示す。
  論文  参考訳（メタデータ） (2025-06-20T18:08:30Z)
• Exact dynamics of quantum dissipative $XX$ models: Wannier-Stark localization in the fragmented operator space [49.1574468325115]
  振動と非振動崩壊を分離する臨界散逸強度において例外的な点が見つかる。 また、演算子部分空間全体の単一減衰モードにつながる異なるタイプの散逸についても記述する。
  論文  参考訳（メタデータ） (2024-05-27T16:11:39Z)
• Renormalization group for measurement and entanglement phase transitions [0.0]
  2つの有効ラグランジアンの再正規化群(RG)の流れを解析する。 ランダムテンソルネットワークの理論は、ランダムフィールドイジングモデルに類似した次元還元特性を持つことを示す。
  論文  参考訳（メタデータ） (2023-03-14T12:40:03Z)
• Complete positivity violation of the reduced dynamics in higher-order quantum adiabatic elimination [0.0]
  本稿では,複合リンドブラッドシステムのモデル還元手法である量子断熱除去について論じる。 還元力学の完全肯定性が高次寄与に反する2つの例を示す。
  論文  参考訳（メタデータ） (2023-03-08T10:38:27Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• Anisotropy-mediated reentrant localization [62.997667081978825]
  2次元双極子系、$d=2$、一般化双極子-双極子相互作用$sim r-a$、トラップイオン系やリドバーグ原子系で実験的に制御されたパワー$a$を考える。 異方性双極子交換を引き起こす双極子の空間的に均質な傾き$$beta$は、ロケータ展開を超えた非自明な再帰的局在をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-01-31T19:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。