論文の概要: At-Grok Is Not Converged:A Measurement-Validity Audit for Grokking Representation Metrics

• arxiv url: http://arxiv.org/abs/2607.06639v1
• Date: Tue, 07 Jul 2026 14:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.164126
• Title: At-Grok Is Not Converged:A Measurement-Validity Audit for Grokking Representation Metrics
• Title（参考訳）: At-Grokは収束していない: グロキング表現指標のための測定値監査
• Abstract要約: 圧縮は、時間から農業までの時間、少なくとも1万歩の精度遷移を、それと一致させるのではなく、遅延させることを示す。 これは、オンセットを圧縮フラグから分離し、検閲し、完全に一般化しないセルを除外し、参照フロアがプラトー化されていることをチェックする監査としてパッケージ化します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On modular arithmetic, a network's embedding keeps compressing for tens of thousands of steps after it has already generalized. Reading effective rank at the grokking transition overstates the converged value by 3-5x on an MLP, and by 1.3-1.5x on a transformer trained to convergence; on the MLP it also erases which cells compress at all. Compression lags the accuracy transition by an amount on the order of the time-to-grok, at least 10,000 steps, rather than coinciding with it. A one-variable ablation shows what sets the lag size: adding LayerNorm to an otherwise identical transformer moves the fraction of compression done by the grok step from 0.87 to 0.25, and a pre-registered control rules out scale invariance as the mechanism. We package this as an audit that separates onset from compression, flags censoring, excludes boundary cells that never fully generalize, and checks that the reference floor has plateaued, with an adversarial suite that caught a false-confidence bug in our own branch. A secondary, MLP-specific depth law linking norm budget to converged floor fails a generality test on a transformer and flips sign under free weight decay. Code and the toolkit are released.
• Abstract（参考訳）: モジュラー算術において、ネットワークの埋め込みは、既に一般化された後に数万のステップで圧縮し続ける。 グルーキング遷移における効果的なランクの読み取りは、収束を訓練されたトランスフォーマー上の3.5倍、および1.3-1.5倍の収束値を上書きし、MLPではどのセルがどのセルを圧縮するかを消去する。 圧縮は、それと一致するのではなく、少なくとも10,000ステップの時間と農業の順に精度の遷移を遅延させる。 1変数のアブレーションでは、LayerNormを同じ変圧器に追加すると、グラクステップによって実行される圧縮の分画が0.87から0.25に移動し、事前登録された制御が機構としてスケール不変性を規定する。 これは、オンセットを圧縮から分離し、検閲をフラグ化し、完全に一般化しない境界セルを除外し、参照フロアが不安定であることをチェックするための監査としてパッケージ化します。 標準予算を収束床にリンクする二次的 MLP 固有深さ法は、変圧器の一般性試験に失敗し、自由重量減衰の下で符号を反転させる。 コードとツールキットがリリースされる。

関連論文リスト

• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters [0.0]
  グルーキングは単一の結果ではなく、マルチシードレートとして研究する。 この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。
  論文  参考訳（メタデータ） (2026-07-06T13:58:31Z)
• What Does the Weight Norm Control in Grokking? Logit-Scale Mediation under Cross-Entropy [0.0]
  規範が実際に何を制御するのかを尋ねる。 クロスエントロピーの下で、標準誘導範囲全体にわたってグラッキング遅延をスライスする。 標準の格子と温度を横切ると、遅延はロジットスケールだけで崩壊する(R2 = 0.97)。
  論文  参考訳（メタデータ） (2026-06-16T20:16:18Z)
• Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference [45.663066206650115]
  分割推論はしばしば非現実的であり、機密テキストの推論をサードパーティプロバイダにプッシュする。 我々は、軽量な正規化変更を通じて、正確に$mathrmO(d)$-equivariantであるトランスフォーマー変種であるConjFormerを紹介した。
  論文  参考訳（メタデータ） (2026-06-15T09:31:24Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Late-Stage Generalization Collapse in Grokking: Detecting anti-grokking with Weightwatcher [1.6615337656760856]
  ニューラルネットワークにおけるemphMemorizationは、正確な運用定義が欠如しており、しばしばグラッキングレジームから推測される。 我々は、このトレーニング体制において、未報告の第3段階である、エンファンティ・グロッキング(emphanti-grokking)、すなわち、一般化の後期崩壊を識別する。
  論文  参考訳（メタデータ） (2026-02-02T22:09:14Z)
• Transformers as Measure-Theoretic Associative Memory: A Statistical Perspective and Minimax Optimality [52.424255020469595]
  トランスフォーマーは、コンテント順応可能な検索とコンテキスト、原則として長さを活用できる能力を通じてエクササイズする。 確率尺度のレベルで連想記憶をリキャストし、コンテキストを無拘束トークン上の分布として扱う。 浅度測度理論変換器は入力密度のスペクトル仮定に基づいてリコール・アンド・予測マップを学習することを示す。
  論文  参考訳（メタデータ） (2026-02-02T09:34:17Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。