論文の概要: Grokking as a Falsifiable Finite-Size Transition

• arxiv url: http://arxiv.org/abs/2603.24746v1
• Date: Wed, 25 Mar 2026 19:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:47.954503
• Title: Grokking as a Falsifiable Finite-Size Transition
• Title（参考訳）: Falsibility Finite-Size transitionとしてのグラッキング
• Authors: Yuda Bi, Chenyu Zhang, Qiheng Wang, Vince D Calhoun,
• Abstract要約: グラッキングにおける相転移言語は、定量有限サイズのクレームとしてテストすることができる。 グラッキングにおける相転移言語は、定量有限サイズのクレームとしてテストすることができる。
• 参考スコア（独自算出の注目度）: 17.71387401516034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grokking -- the delayed onset of generalization after early memorization -- is often described with phase-transition language, but that claim has lacked falsifiable finite-size inputs. Here we supply those inputs by treating the group order $p$ of $\mathbb{Z}_p$ as an admissible extensive variable and a held-out spectral head--tail contrast as a representation-level order parameter, then apply a condensed-matter-style diagnostic chain to coarse-grid sweeps and a dense near-critical addition audit. Binder-like crossings reveal a shared finite-size boundary, and susceptibility comparison strongly disfavors a smooth-crossover interpretation ($Δ\mathrm{AIC}=16.8$ in the near-critical audit). Phase-transition language in grokking can therefore be tested as a quantitative finite-size claim rather than invoked as analogy alone, although the transition order remains unresolved at present.
• Abstract（参考訳）: 初期記憶の後に一般化が遅れたグロキングは、しばしば相転移言語で記述されるが、その主張は偽りの有限サイズの入力を欠いている。 ここでは、群次数 $p$ of $\mathbb{Z}_p$ を許容可能な拡張変数として扱い、スペクトルヘッド-テールコントラストを表現レベル順序パラメータとして扱い、粗いグリッドスイープと密度の高い準臨界付加監査に凝縮マター型診断チェーンを適用する。 バインダーのような交差は共有有限サイズ境界を示し、感受性比較は滑らかなクロスオーバー解釈を強く嫌う(Δ\mathrm{AIC}=16.8$)。 したがって、グルーキングにおける相転移言語は、アナログとしてのみ呼び出されるのではなく、定量的な有限サイズのクレームとしてテストすることができるが、遷移順序は現在未解決のままである。

関連論文リスト

• Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
  一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。 この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-03-16T16:18:18Z)
• SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models [15.95627037350657]
  CoT (Explicit Chain-of-Thought) 計算はトークンレベルのトレースを内部化することによって高い推論コストを発生させる。 固定応答テンプレートを強制せずに、明示的なCoTをコンパクトなポーズトークンに圧縮するフレキシブルなフレームワークであるSPOTを提案する。 推論ベンチマークの実験では、SPOTは生成したトークンを37.5%削減しながら、平均2.3ポイントの精度を向上している。
  論文  参考訳（メタデータ） (2026-03-06T12:34:27Z)
• Identifying Intervenable and Interpretable Features via Orthogonality Regularization [48.938969291033665]
  我々はデコーダ行列をほぼ直交的な特徴に分解する。 これにより、ターゲットデータセットのパフォーマンスを本質的に変更することなく、機能間の干渉と重畳を低減することができる。 私たちのコードは、$texttthttps://github.com/mrtzmllr/sae-icm$で利用可能です。
  論文  参考訳（メタデータ） (2026-02-04T16:29:14Z)
• Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
  本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。 我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
  論文  参考訳（メタデータ） (2025-12-01T23:06:56Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Tensor-network study of the roughening transition in a (2 + 1)D $\mathbb{Z}_2$ lattice gauge theory with matter [2.287186762346021]
  2+1)D格子ゲージ理論の中で、粗い遷移はフロッピー弦励起を持つ弱閉じ込めされた状態と固い弦励起を持つ強閉じ込めされた状態の間に生じる。 無限密度行列再正規化群アルゴリズムを用いて、制限弦の性質を定量的に特徴づける。
  論文  参考訳（メタデータ） (2025-03-24T18:00:04Z)
• Self-healing of Trotter error in digital adiabatic state preparation [52.77024349608834]
  完全断熱進化の1次トロッター化は、一般的なトロッター誤差境界から期待される$mathcal O(T-2 delta t2)$の代わりに$mathcal O(T-2 delta t2)$にスケールする累積不整性を持つことを示す。 この結果は自己修復機構を示唆し、T$の増大にもかかわらず、固定$$delta t$のデジタル化進化の不完全性が、多種多様なハミルトニアンに対して依然として減少している理由を説明する。
  論文  参考訳（メタデータ） (2022-09-13T18:05:07Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)
• From Information Theory Puzzles in Deletion Channels to Deniability in Quantum Cryptography [0.0]
  まず、実験データに基づいて、後部のエントロピーが定数列によって最小化されることを予想する。 次に,DC-QKEを提案するために,隠蔽通信とデニビリティの接続を確立する。 完全ホモモルフィック暗号をベースとした,効率的な耐保磁・量子セキュリティ投票方式を提案する。
  論文  参考訳（メタデータ） (2020-03-25T22:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。