論文の概要: Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers

• arxiv url: http://arxiv.org/abs/2608.07436v1
• Date: Fri, 07 Aug 2026 17:21:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.580616
• Title: Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers
• Title（参考訳）: Muon-Trained TransformerにおけるRepresentation-Readoutインタフェースにおけるポストグルーキングの崩壊
• Abstract要約: a+b) bmod 113$ grok 上の9つの種子はすべて、後に種子を失う。 不安定性は2つのモジュラー、2つの幅、2つのトレーニング率、2つのサブトラクション、深さにわたって持続する。 43のチェックポイントが5つの種と3つのレシエーションにまたがっており、タスクアラインの家族は正確に100%に到達している。
• 参考スコア（独自算出の注目度）: 2.7590644934977764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Under the standard split, Muon gets hidden matrices and AdamW embeddings/output head. Muon groks modular addition faster, but its solutions do not hold. All nine configurations on $(a+b) \bmod 113$ grok and later lose generalization. Across five seeds the selected AdamW reference falls below threshold on four, reaching 27.59%. Instability persists across two moduli, two widths, two training fractions, subtraction, and depth. The failure arises at the representation-readout interface, identified only jointly up to an invertible map unselected by the loss. After solving the training set, the gradient falls to order $10^{-6}$ and the optimizers respond differently: step-size elasticity is -0.03 for Muon versus +1.5 for AdamW, and the Muon group moves 8.0 times faster per parameter. From bit-identical states, freezing either group prevents failure. Freezing embeddings/readout removes it in five runs over 451,400 post-grokking steps and five paired seeds: unfrozen arms record 137-321 sub-threshold evaluations, frozen arms none. Removing Muon's normalization and orthogonalization is no substitute: it collapses representation from 326 effective conjugate pairs to 4, shows no recurrent collapse, and fails terminally. Fourier filtering separates circuit failure from masking. Across 43 checkpoints over five seeds and three regimes, the task-aligned family reaches exactly 100% alone. In circuit failure it no longer solves the task; in masking it remains perfect while the full model reaches 45.85%, giving a positive margin on every example, including errors, but being outvoted by a near-equal adversarial remainder. Rescaling it restores 99.9%; grokking is the same condition resolving upward. The task selects the family, swapping $(k,k)$ for $(k,-k)$ under subtraction. Across an abrupt collapse, standard Fourier support is unchanged and the power-distribution cosine remains 0.9899.
• Abstract（参考訳）: 標準分割では、Muonは隠れ行列とAdamW埋め込み/出力ヘッドを取得する。 Muonはモジュールの追加を高速化するが、そのソリューションは保たない。 a+b) \bmod 113$ grok 上の9つの構成はすべて、後に一般化を失う。 選択されたAdamW参照の5つの種子は、しきい値を下回り、27.59%に達する。 不安定性は2つのモジュラー、2つの幅、2つのトレーニング率、2つのサブトラクション、深さにわたって持続する。 この失敗は表現読み出しインタフェースで発生し、損失によって選択されない可逆写像まで一緒に特定される。 トレーニングセットを解くと勾配は10^{-6}$に下がり、オプティマイザは異なる反応をする: ステップサイズ弾性は -0.03 であり、AdamW は +1.5 であり、Muon 群はパラメータごとに 8.0 倍速く動く。 ビットID状態から、どちらの群も凍結しても失敗を防げる。 凍結した埋め込み/読み出しは、451,400歩以上のポストグロッキングステップと5組の種子の5つの実行で除去される。 ムオンの正規化と直交化を除去することは代用ではなく、326の有効共役対から4への表現を崩壊させ、再帰的な崩壊を示さず、終端的に失敗する。 フーリエフィルタは、回路故障とマスキングを分離する。 43のチェックポイントが5つの種と3つのレシエーションにまたがっており、タスクアラインの家族は正確に100%に到達している。 完全なモデルが45.85%に達する間は完璧であり、エラーを含む全ての例で正の利得を与えるが、ほぼ等しい逆数で外される。 再スケーリングでは99.9%が回復し、グラッキングは上向きに解決されるのと同じ条件である。 タスクはファミリーを選択し、サブトラクションで$(k,-k)$を$(k,-k)$に置き換える。 急激な崩壊の間、標準的なフーリエのサポートは変更されず、電力分配コサインは0.9899のままである。

関連論文リスト

• Muon-C: Operator-Aligned Muon for Convolutional Kernels [5.886986014593717]
  周波数ワイドチャネル転送行列としてカーネル運動量を表す演算子アラインメントであるMuonを導入する。 ブロック分割とフーリエ座標を組み合わせることで新しい幾何学が生まれることを示す。 Muon-C は 40k イテレーションで 9.87 FID に達し、Unfolded Muon は 22.26、Adam は 51.31 である。
  論文  参考訳（メタデータ） (2026-09-09T03:45:44Z)
• Disparity Has a Sign: Stereo Matching Beyond the Zero-Disparity Plane [52.210414985125816]
  立体視内容が、負の相違に対応するゼロの相違面の背後にある物体をどう含んでいるかを示す。 撮影者が作成した7本の公開映画から21,495ドルのステレオペアのベンチマークである textitZDPShift を提案する。 同じシーンコンテンツでは、ファンデーションは25.24ドルEPEから75.33ドルpxに上昇し、すべてのバックボーンが3ピクセルの差分誤差を超えるピクセルの約半分を残している。
  論文  参考訳（メタデータ） (2026-09-06T19:58:35Z)
• Ockhamareto: Pareto-Gated Segment-Level Credit Assignment for Concise Unit-Test Generation with Reinforcement Learning [64.49364696628294]
  我々は単発のGRPOフレームワークであるtextbfOckhamaretoを紹介した。 Ockhamaretoには2つの主要なコンポーネントがある: (i)emphPareto-gated Bonusは、(mutation, $-$#tests)スペースで非支配的なロールアウトのみを報酬する。
  論文  参考訳（メタデータ） (2026-08-25T12:20:02Z)
• Where Cognition Lives: Dissecting Emergent from Computed Function in a Minimal Complete Cognitive Architecture [0.0]
  適応停止, ホメオスタティック制御フィールド, 値モジュールを備えたリカレント推論器を構築する。 停止も出現し、前もって決定できるものよりも価値が高いように見えるが、その外観は計り知れない。 PonderNetスタイルの停止は、隠された状態の停止重み付き混合を返し、強制深度ベースラインは1を返す。
  論文  参考訳（メタデータ） (2026-08-23T10:27:13Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
  対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。 トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。 明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
  論文  参考訳（メタデータ） (2026-07-10T10:35:24Z)
• CaricHarmony: Contrastive Diffusion Paths for Identity-Preserving Caricature Synthesis [49.596677723190886]
  スケッチベースの似顔絵合成は、基本的な失敗モードに悩まされる。 アイデンティティと形状の条件は拡散モデルに組み合わされ、地味な肖像画や認識不能な歪みに対して崩壊する。 並列な未汚染拡散経路を通じてこの汚染を明示的に解消する最初の訓練不要な手法であるCaricHarmonyを提案する。
  論文  参考訳（メタデータ） (2026-06-11T22:57:59Z)
• CRMA: A Spectrally-Bounded Backbone for Modular Continual Fine-Tuning of LLMs [0.0]
  我々は、内部混合行列 M がシンクホーン正規化による全ての前方通過において二重確率である残留アダプタ CRMA を紹介する。 5つのドメインにまたがるMistral-7Bでは、モジュラー・パー・タスクのLoRAは、+42.96%+/-5.5(ナイーブ微調整)から-0.17%+/-0.17までのバックボーンの損失相対的ドリフトを仲介する。
  論文  参考訳（メタデータ） (2026-05-29T21:50:23Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• SignMuon: Communication-Efficient Distributed Muon Optimization [1.009732307721003]
  本稿では,SGD からの多数投票符号の集約と Muon の極性に基づくフレームワークを組み合わせた 1 ビット行列対応の Sign-Muon を提案する。 330AR-10/ResNet-50構成で、Sign-Muonは最もスムーズなトレーニング時間(92.15% 4-GPUの多数投票型)を、他の符号ベースのベースラインよりも37%小さくする。
  論文  参考訳（メタデータ） (2026-05-04T13:29:55Z)
• THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
  THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。 トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
  論文  参考訳（メタデータ） (2026-04-13T10:44:15Z)
• Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap [84.66885506098724]
  本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。 AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。 また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
  論文  参考訳（メタデータ） (2021-02-09T07:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。