論文の概要: Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters

• arxiv url: http://arxiv.org/abs/2607.05104v1
• Date: Mon, 06 Jul 2026 13:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.180861
• Title: Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters
• Title（参考訳）: グロッキングは条件付きであり, き裂である: 12Kパラメータのフルトレーサビリティ, マルチシーズスタディ
• Abstract要約: グルーキングは単一の結果ではなく、マルチシードレートとして研究する。 この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grokking--the delayed onset of generalization long after a network has fit its training set--is usually studied in models too large to read completely and reported from single training runs. We instead study a publicly released ~11,856-parameter Llama-style transformer (Glimmer-1-Base) on modular arithmetic, small enough to enumerate its weights, attention, and full input--output map, and we measure grokking as a multi-seed rate rather than a single outcome. In this fully-tractable regime grokking is a conditional, fragile phase transition. It is gated by training-set coverage, whose threshold tracks output cardinality (the modulus) more than task structure, an ordering that holds above the transition and across a ten-fold change in domain size. Weight decay reproduces the Omnigrok inverted-U at 12K parameters, a positive control on the rate measurement. Grokking also sits on a numerical knife-edge: two perturbations of the floating-point environment--CPU thread count (reduction order) and CPU-versus-GPU execution--each flip a minority of same-seed outcomes without a detectable shift in the aggregate rate. Decomposition into sub-task specialists helps chiefly by making coverage cheap rather than by adding supervision. Methodologically, multi-seed control under a fixed numerical environment overturns three dramatic single-run narratives in our own data, each a seed confound. The unit of evidence for grokking must therefore be a multi-seed rate under a pinned numerical environment, checked where possible against a direct reading of the model.
• Abstract（参考訳）: ネットワークがトレーニングセットに適合してからずっと経ち、一般化の遅れたグロキングは、通常、完全に読み取るには大きすぎるモデルで研究され、単一のトレーニング実行から報告される。 代わりに、モジュラー算術において、公にリリースされた ~11,856パラメータのLlama-style transformer (Glimmer-1-Base) を研究し、その重み、注意、および完全な入出力マップを列挙できるほど小さく、単一の結果ではなくマルチシードレートとしてグルーキングを測定する。 この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。 しきい値がタスク構造よりも高い濃度(率)を出力し、それは遷移の上に保持され、ドメインサイズが10倍に変化する順序である。 重崩壊は12KパラメータでOmnigrok逆Uを再現するが、これは速度測定の正の制御である。 浮動小数点環境の2つの摂動 - CPUスレッド数(減算順序)とCPU逆GPU実行 - はいずれも、アグリゲーションレートが検出可能なシフトを伴わずに、少数の同種の結果を反転させる。 サブタスクスペシャリストへの分解は、主に監督を追加するのではなく、カバレッジを安くすることを支援する。 固定された数値環境下でのマルチシード制御は、我々のデータに3つの劇的な単行物語をオーバーターンし、それぞれがシード・コンファウンドとなる。 したがって、グルーキングの証拠の単位は、ピン付き数値環境下でのマルチシードレートでなければならない。

関連論文リスト

• ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps [1.7403133838762448]
  ActMapは、生成時の隠れ状態軌跡を固定された12時間s32times128$の時間統計チャネルに圧縮する表現である。 小型ビジョン変換器としてインスタンス化された軽量分類器は、各マップから推定された正当性確率をミリ秒単位で読み取る。
  論文  参考訳（メタデータ） (2026-09-10T13:04:24Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• The Cost of Adaptivity: Matching Lower Bounds Across Learning Problems [1.0742675209112622]
  我々はスライス正規化ミニマックス比を用いてニュアンス適応を定式化する。 また、事前発表された1つのガウスクエリから任意のポストホックインスペクションへ拡張するコストを定義する。
  論文  参考訳（メタデータ） (2026-08-09T17:19:11Z)
• Denoising growth complexity: Data geometry and certified schedules for diffusion sampling [14.877292137182422]
  我々は、$mathsfDGC$インクリメントが、革新表現に適用されたオイラースキームのKL誤差に単純で明示的な境界をもたらすことを示す。 我々は、より単純なシングルブロック設定とより洗練された$K$ブロック設定の両方において、最適化されたステップサイズスケジュールに対するKLサンプリング保証を導出する。
  論文  参考訳（メタデータ） (2026-07-28T21:26:16Z)
• At-Grok Is Not Converged:A Measurement-Validity Audit for Grokking Representation Metrics [0.0]
  圧縮は、時間から農業までの時間、少なくとも1万歩の精度遷移を、それと一致させるのではなく、遅延させることを示す。 これは、オンセットを圧縮フラグから分離し、検閲し、完全に一般化しないセルを除外し、参照フロアがプラトー化されていることをチェックする監査としてパッケージ化します。
  論文  参考訳（メタデータ） (2026-07-07T14:44:18Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• Dimensional Criticality at Grokking Across MLPs and Transformers [2.652953665748039]
  異なる力学系間の急激な遷移は、複雑なシステムの目印である。 オフライン雪崩探査機 textbfTDU-OFC (Thresholded Diffusion Update--Olami-Feder-Christensen) を紹介する。 モジュラー加算と XOR で訓練された一般化を訓練したトランスフォーマーは、拡散ベースラインの局所的交差をD=1$で発見する。
  論文  参考訳（メタデータ） (2026-04-06T13:43:20Z)
• Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
  一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。 この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-03-16T16:18:18Z)
• SurgFormer: Scalable Learning of Organ Deformation with Resection Support and Real-Time Inference [14.49835131603816]
  本稿では,データ駆動型軟組織シミュレーションのための多分解能ゲートトランスであるSurgFormerを紹介する。 高忠実度バイオメカニカル・ソルバは対話的利用には高コストであることが多いので、我々はSurgFormerをデザイナ生成データで訓練し、ノード幅の変位場を予測する。 SurgFormerは良好な効率で高い精度を達成し、両方のタスクの実践的なバックボーンとなる。
  論文  参考訳（メタデータ） (2026-03-06T18:29:47Z)
• Late-Stage Generalization Collapse in Grokking: Detecting anti-grokking with Weightwatcher [1.6615337656760856]
  ニューラルネットワークにおけるemphMemorizationは、正確な運用定義が欠如しており、しばしばグラッキングレジームから推測される。 我々は、このトレーニング体制において、未報告の第3段階である、エンファンティ・グロッキング(emphanti-grokking)、すなわち、一般化の後期崩壊を識別する。
  論文  参考訳（メタデータ） (2026-02-02T22:09:14Z)
• Gated Differentiable Working Memory for Long-Context Language Modeling [80.27483324685434]
  本稿では,Gdwm(Gated Differentiable Working Memory)を提案する。 ZeroSCROLLS と LongBench v2 の実験では、Gdwm は均一なベースラインよりも 4$times$ の勾配ステップで同等または優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-01-19T10:00:33Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
  ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。 自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。 実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2025-10-21T03:23:32Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。