Fugu-MT 論文翻訳(概要): Grokking as a Falsifiable Finite-Size Transition

論文の概要: Grokking as a Falsifiable Finite-Size Transition

arxiv url: http://arxiv.org/abs/2603.24746v1
Date: Wed, 25 Mar 2026 19:15:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-27 20:52:47.954503
Title: Grokking as a Falsifiable Finite-Size Transition
Title（参考訳）: Falsibility Finite-Size transitionとしてのグラッキング
Abstract要約: グラッキングにおける相転移言語は、定量有限サイズのクレームとしてテストすることができる。グラッキングにおける相転移言語は、定量有限サイズのクレームとしてテストすることができる。
参考スコア（独自算出の注目度）: 17.71387401516034
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Grokking -- the delayed onset of generalization after early memorization -- is often described with phase-transition language, but that claim has lacked falsifiable finite-size inputs. Here we supply those inputs by treating the group order $p$ of $\mathbb{Z}_p$ as an admissible extensive variable and a held-out spectral head--tail contrast as a representation-level order parameter, then apply a condensed-matter-style diagnostic chain to coarse-grid sweeps and a dense near-critical addition audit. Binder-like crossings reveal a shared finite-size boundary, and susceptibility comparison strongly disfavors a smooth-crossover interpretation ($Δ\mathrm{AIC}=16.8$ in the near-critical audit). Phase-transition language in grokking can therefore be tested as a quantitative finite-size claim rather than invoked as analogy alone, although the transition order remains unresolved at present.
Abstract（参考訳）: 初期記憶の後に一般化が遅れたグロキングは、しばしば相転移言語で記述されるが、その主張は偽りの有限サイズの入力を欠いている。ここでは、群次数 $p$ of $\mathbb{Z}_p$ を許容可能な拡張変数として扱い、スペクトルヘッド-テールコントラストを表現レベル順序パラメータとして扱い、粗いグリッドスイープと密度の高い準臨界付加監査に凝縮マター型診断チェーンを適用する。バインダーのような交差は共有有限サイズ境界を示し、感受性比較は滑らかなクロスオーバー解釈を強く嫌う(Δ\mathrm{AIC}=16.8$)。したがって、グルーキングにおける相転移言語は、アナログとしてのみ呼び出されるのではなく、定量的な有限サイズのクレームとしてテストすることができるが、遷移順序は現在未解決のままである。

関連論文リスト

Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。 Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文参考訳（メタデータ） (2026-08-11T07:58:17Z)
Symmetrized Block-Product Periodic Marginals in Infinite Translation-Invariant Quantum Chains [1.1960668185846597]
有限周期構造を隠蔽する一次元の翻訳不変量子系の局所限界について検討する。これは対称化されたブロック積周期境界問題を定義する。我々は,Mageumdar-Ghoshモデル,transverse-field Ising, XX, XXZ, and contextuality-related spin modelをベンチマークした。
論文参考訳（メタデータ） (2026-08-11T01:45:25Z)
Controlling Waiting Time Statistics in Monitored Collective Spins: Mitigating Detector's Resolution Barrier in Measurement-Induced Phase Transitions [45.88028371034407]
初期状態の不均一性は、量子ジャンプ間の待ち時間統計を制御できる。測定誘起相転移は不均一な条件下で持続することがわかった。
論文参考訳（メタデータ） (2026-07-01T18:00:05Z)
Moment-Based Inference for Regression with Latent Dirichlet Covariates [5.882065571122133]
有限 LDA モデルを用いて文書レベルのトピック共有を推定する方法を示す。また、補正が未知の総ディリクレ濃度に依存することを示す。我々は、$kge3$のトピックと一般的な有限プローブ条件の下では、$_0$は可換性によって識別されることを示す。
論文参考訳（メタデータ） (2026-05-29T01:24:17Z)
Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
論文参考訳（メタデータ） (2026-05-27T15:17:06Z)
Semantic Rate-Distortion for Bounded Multi-Agent Communication: Capacity-Derived Semantic Spaces and the Communication Cost of Alignment [0.0]
商 POMDP $Q_m,T(M)$ は任意の有界エージェントのキャパシティ由来の意味空間として機能することを示す。ヘテロジニアス剤間の通信は, 鋭い構造相転移を示すことを示す。
論文参考訳（メタデータ） (2026-04-10T17:41:38Z)
Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
論文参考訳（メタデータ） (2026-03-16T16:18:18Z)
SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models [15.95627037350657]
CoT (Explicit Chain-of-Thought) 計算はトークンレベルのトレースを内部化することによって高い推論コストを発生させる。固定応答テンプレートを強制せずに、明示的なCoTをコンパクトなポーズトークンに圧縮するフレキシブルなフレームワークであるSPOTを提案する。推論ベンチマークの実験では、SPOTは生成したトークンを37.5%削減しながら、平均2.3ポイントの精度を向上している。
論文参考訳（メタデータ） (2026-03-06T12:34:27Z)
Asymptotically optimal sequential change detection for bounded means [38.54792440099341]
我々は、$mathscrP$の「最も厳しい」事前変更法が未知のポストチェンジ法である$QinmathscrQ$に依存するとき、最も検出の遅れを特徴付ける。重要な有界平均検出設定において,この普遍的下界の達成可能性を示す。
論文参考訳（メタデータ） (2026-02-05T03:54:04Z)
Identifying Intervenable and Interpretable Features via Orthogonality Regularization [48.938969291033665]
我々はデコーダ行列をほぼ直交的な特徴に分解する。これにより、ターゲットデータセットのパフォーマンスを本質的に変更することなく、機能間の干渉と重畳を低減することができる。私たちのコードは、$texttthttps://github.com/mrtzmllr/sae-icm$で利用可能です。
論文参考訳（メタデータ） (2026-02-04T16:29:14Z)
Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
論文参考訳（メタデータ） (2025-12-01T23:06:56Z)
Learning by Neighbor-Aware Semantics, Deciding by Open-form Flows: Towards Robust Zero-Shot Skeleton Action Recognition [41.77490816513839]
ゼロショットスケルトン動作認識のための新しい手法を,$texttt$textbfFlora$$として提案する。具体的には、方向対応の地域意味論と相互整合性目標を取り入れたテキスト意味論を実践する。 3つのベンチマークデータセットによる実験により,本手法の有効性が検証された。
論文参考訳（メタデータ） (2025-11-12T14:54:53Z)
Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文参考訳（メタデータ） (2025-05-19T11:30:41Z)
Tensor-network study of the roughening transition in a (2 + 1)D $\mathbb{Z}_2$ lattice gauge theory with matter [2.287186762346021]
2+1)D格子ゲージ理論の中で、粗い遷移はフロッピー弦励起を持つ弱閉じ込めされた状態と固い弦励起を持つ強閉じ込めされた状態の間に生じる。無限密度行列再正規化群アルゴリズムを用いて、制限弦の性質を定量的に特徴づける。
論文参考訳（メタデータ） (2025-03-24T18:00:04Z)
Self-healing of Trotter error in digital adiabatic state preparation [52.77024349608834]
完全断熱進化の1次トロッター化は、一般的なトロッター誤差境界から期待される$mathcal O(T-2 delta t2)$の代わりに$mathcal O(T-2 delta t2)$にスケールする累積不整性を持つことを示す。この結果は自己修復機構を示唆し、T$の増大にもかかわらず、固定$$delta t$のデジタル化進化の不完全性が、多種多様なハミルトニアンに対して依然として減少している理由を説明する。
論文参考訳（メタデータ） (2022-09-13T18:05:07Z)
On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文参考訳（メタデータ） (2020-06-19T14:11:26Z)
From Information Theory Puzzles in Deletion Channels to Deniability in Quantum Cryptography [0.0]
まず、実験データに基づいて、後部のエントロピーが定数列によって最小化されることを予想する。次に,DC-QKEを提案するために,隠蔽通信とデニビリティの接続を確立する。完全ホモモルフィック暗号をベースとした,効率的な耐保磁・量子セキュリティ投票方式を提案する。
論文参考訳（メタデータ） (2020-03-25T22:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。