論文の概要: Subspace Crystallization in Grokking: Rank Compression Tracks the Phase Transition
- arxiv url: http://arxiv.org/abs/2610.35112v1
- Date: Mon, 26 Oct 2026 09:52:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.818205
- Title: Subspace Crystallization in Grokking: Rank Compression Tracks the Phase Transition
- Title（参考訳）: グローキングにおけるサブスペース結晶化:ランク圧縮は相転移を追跡する
- Abstract要約: ニューラルネットワークでは、グラッキングはトレーニングデータを記憶してから長い時間でネットワークが一般化する現象である。
この遅延は、ネットワークの重み行列の効果的なランクの低下と関連付けられているが、このランクがグラッキングを駆動するか、それに従うかはまだ未解決である。
平均場と1層変圧器をモジュラー演算で学習し、グラクキングが記憶ではなく開始に従うことを観察する。
- 参考スコア（独自算出の注目度）: 1.0742675209112622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Grokking describes understanding something deeply and intuitively. In neural networks, it is the phenomenon where a network generalizes long after memorizing its training data. This delay has been linked to a fall in the effective rank of the network's weight matrices, but whether this rank compression drives grokking or follows it is still unresolved. We study a mean-field MLP and a one-layer transformer trained on modular arithmetic and observe that: (i) Compression follows the onset, not memorization. Every transformer memorizes its training data within 250 steps, while the grokking onset (the first step at which test accuracy reaches 95%) varies from 6,500 to 21,000 steps. The steepest fall in effective rank comes about 900 steps after the onset, however late the onset occurs, and networks that memorize without grokking compress far less. (ii) Subspace crystallization. We call the span of the fewest top singular directions of a weight matrix that preserve 99% of test accuracy its sufficient subspace. Its size can shrink as the margin between the correct and the best wrong output grows, so we also count the directions needed to keep the outputs within 10%. In the transformer, this count falls during the transition from a quarter or more of the available directions to about a tenth, which we call subspace crystallization. (iii) Imposing low rank does not speed up grokking. Against a factorized full-rank control, capping the rank of the transformer's MLP input weights delays the onset, and capping the rank of its embedding stops 15 of 20 runs from grokking. Compression is therefore a signature of grokking rather than its cause.
- Abstract（参考訳）: グロキングは何かを深く直感的に理解する。
ニューラルネットワークでは、トレーニングデータを記憶した後長くネットワークが一般化する現象である。
この遅延は、ネットワークの重み行列の効果的なランクの低下と関連付けられているが、このランク圧縮がグラッキングを駆動するか、それに従うかはまだ未解決である。
平均場 MLP と 1 層変換器をモジュラー演算で学習し,それを観測する。
(i)圧縮は、記憶ではなく、開始後に従う。
各トランスは250ステップ以内にトレーニングデータを記憶し、グラッキング開始(テスト精度が95%に達する最初のステップ)は6500から21,000ステップまで変化する。
有効ランクの最も急激な低下は、開始後約900ステップで起こるが、開始が遅くなり、圧縮をはるかに小さくすることなく記憶するネットワークが出現する。
(II)サブスペース結晶化
我々は、その十分部分空間の検定精度の99%を保持する重み行列の最も小さい最上特異方向のスパンを呼ぶ。
そのサイズは、正しい出力と最良の出力の間のマージンが大きくなるにつれて縮小するので、出力を10%に抑えるのに必要な方向もカウントする。
変圧器では、この数は利用可能な方向の4分の1以上から10分の1に遷移し、これは部分空間結晶化(subspace crystallization)と呼ばれる。
(三)低い位階を課すことでグルークをスピードアップしない。
分解されたフルランク制御に対して、変圧器のMLP入力重みのランクの上限はオンセットを遅らせ、その埋め込み停止15のランクの上限はグラッキングから外れる。
したがって、圧縮は原因というよりはグルーキングのサインである。
関連論文リスト
- Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。
LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
論文 参考訳（メタデータ） (2026-09-30T16:47:35Z) - Off-Axis, On Purpose: Where a Transformer Computes Concepts and Why it Does So [0.2663471820643486]
変圧器の解答は1つの軸に存在し、その非埋め込み方向は読み取る。
12層のモデルが2つのフェーズで計算する。
アーリーエグジットのトレーニングのように、すべてのレイヤをリードアウトにプッシュすることは、パープレキシティ、LAMBADA、BLiMPのベースラインと一致します。
論文 参考訳（メタデータ） (2026-08-10T21:35:48Z) - A Controlled Study of Attention-Only Transformers [0.0]
我々は、パラメータカウント、FLOPのトレーニング、深さを個別にマッチする標準変換器に対して、注意のみのデコーダ変換器を訓練する。
解放された予算を注意深さに再配置することはギャップを埋めます。
注意のみのモデルは、文脈に基づく回答よりも、知識が重みから来る必要がある場合の方が優れていることを示す。
論文 参考訳（メタデータ） (2026-07-20T15:29:00Z) - At-Grok Is Not Converged:A Measurement-Validity Audit for Grokking Representation Metrics [0.0]
圧縮は、時間から農業までの時間、少なくとも1万歩の精度遷移を、それと一致させるのではなく、遅延させることを示す。
これは、オンセットを圧縮フラグから分離し、検閲し、完全に一般化しないセルを除外し、参照フロアがプラトー化されていることをチェックする監査としてパッケージ化します。
論文 参考訳（メタデータ） (2026-07-07T14:44:18Z) - Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters [0.0]
グルーキングは単一の結果ではなく、マルチシードレートとして研究する。
この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。
論文 参考訳（メタデータ） (2026-07-06T13:58:31Z) - What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。
各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
論文 参考訳（メタデータ） (2025-10-13T16:31:50Z) - How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。
我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。
我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
論文 参考訳（メタデータ） (2024-02-22T17:47:03Z) - Delta Keyword Transformer: Bringing Transformers to the Edge through
Dynamically Pruned Multi-Head Self-Attention [4.925939498983408]
マルチヘッド自己アテンションはトランスフォーマーネットワークのコアを形成する。
本稿では,トークン間のデータの時間的安定性を利用して推論コストを削減する動的プルーニング手法を提案する。
実験の結果,元の98.4%の精度を維持しながら80%の操作を削減できることがわかった。
論文 参考訳（メタデータ） (2022-03-20T20:59:13Z) - Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime
with Search [84.94597821711808]
我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。
我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。
提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
論文 参考訳（メタデータ） (2020-10-14T12:28:08Z) - On Layer Normalization in the Transformer Architecture [112.40350994368741]
まず,学習速度のウォームアップが重要である理由を理論的に検討し,レイヤー正規化の位置が重要であることを示す。
ウォームアップステージのないPre-LNトランスフォーマーはベースラインと同等の結果が得られることを示す。
論文 参考訳（メタデータ） (2020-02-12T00:33:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。