Fugu-MT 論文翻訳(概要): What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking

論文の概要: What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking

arxiv url: http://arxiv.org/abs/2607.12735v1
Date: Tue, 14 Jul 2026 13:06:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-15 17:08:30.151433
Title: What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking
Title（参考訳）: 表現に先行する作業とは何か? 特徴ファミリ, ラベルのない不変性, グローキングにおける重要なWindows
Authors: Gunner Levi Howe,
Abstract要約: 我々は、4つの軸にまたがって、188の新たなランで、そのような先行的な作業を特徴付ける。間違ったフィーチャーファミリから構築された一貫性のある学習可能な事前ビルドは、ランダムパーティションのように一般化をブロックする。前者は早期に必要であり、最初の2000年代のみにのみ適用される。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Companion work showed the grokking delay is causally the time to form task-structured representations, injectable via a contrastive prior. Here we characterize what makes such a prior work, across four axes, in 188 new runs. Content: a coherent, learnable prior built from the wrong feature family (magnitude bands) blocks generalization like a random partition (1/15 vs 0/20 grok; $p=0.43$ between them), confirming the companion's prediction that priors act at the level of the circuit's features. Supervision: a fully label-free invariance prior -- positives are commuted pairs $(a,b)\sim(b,a)$ only -- generalizes in 15/15 runs at a median $2.7\times$ speedup, more reliably than the label-supervised prior itself ($p=0.038$), and combined with a weight-norm clamp yields the strongest method we test (median $17\times$, 5/5) -- strongest meaning reliably fast: plain cross-entropy with a clamp matches this speed only at the exact critical norm, while the prior keeps it fast across the entire clamp range. Timing: the prior is only needed early -- applied solely during the first 2000 epochs (4% of budget) it generalizes 10/10 at $2.7\times$, beating continuous application (8/10, $1.25\times$) and a duration-matched later window ($2.1\times$). Setting: the dissociation replicates on modular multiplication and across depths and normalization variants, and a clamp sweep quantifies the companion's central claim: structure injection flattens the weight-norm delay-law exponent about 17-fold (plain cross-entropy slows $31\times$ per +10 norm units, a lower bound as higher cells are censored, versus $1.22\times$ with the prior). Honest boundary: tasks that generalize before memorizing have no delay to control. Feature-family alignment decides whether a prior permits generalization; invariance content suffices for acceleration without labels; a brief early window captures nearly all of the benefit.
Abstract（参考訳）: コンパニオン・ワークは、グルーキング遅延が、対照的に先行して注入可能なタスク構造化表現を形成するための時間であることを示した。ここでは、4つの軸にまたがって、188の新たなランで、そのような先行的な作業を特徴付ける。コンテンツ: 間違ったフィーチャーファミリ(マグニチュードバンド)から構築されたコヒーレントで学習可能な事前構築は、ランダムなパーティション(1/15 vs 0/20 grok; $p=0.43$)のような一般化をブロックし、先行がサーキットの特徴のレベルに作用するという仲間の予測を確認する。 Supervision: complete label-free invariance prior -- positives are commuted pairs $(a,b)\sim(b,a)$ only -- generalizes in 15/15 run at a Medium $2.7\times$ speedup, more reliable to the label-supervised prior itself (p=0.038$) and combined with a weight-norm clamp yields the most method (median $117\times$, 5/5) -- strong meaningably fast: plain cross-entropy with clamp with a clamp match this speed at the exact critical norm, while the prior keep it keep fast across the clamp range. タイミング: 前者は早期に必要であり、最初の2000年代(予算の4%)にのみ適用される。これは10/10を2.7\times$で一般化し、連続的なアプリケーション(8/10, $1.25\times$)を圧倒し、後続のウィンドウ(2.1\times$)を延長する。構造注入は17倍の重量-ノルム遅延則指数を平坦化させる(平らなクロスエントロピーは311\times$ +10ノルム単位あたり311\times$を遅くし、より高いセルが検閲されるにつれて、より低いバウンドは1.22\times$である)。正直な境界: 記憶する前に一般化するタスクは制御に遅れない。特徴系列アライメントは、前者が一般化を許すかどうかを決定し、不変コンテンツはラベルなしで加速するのに十分である。

論文の概要: What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking

関連論文リスト