論文の概要: Misalignment of Low-Loss Regions Causes Grokking

• arxiv url: http://arxiv.org/abs/2610.00620v1
• Date: Wed, 30 Sep 2026 19:22:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.729938
• Title: Misalignment of Low-Loss Regions Causes Grokking
• Title（参考訳）: 低損失地域のミスアライメントはグローキングを引き起こす
• Abstract要約: グロキング(Grokking)は、モデルのトレーニングセットがオーバーフィットした後、検証セットの一般化が遅れたことを指す。 本研究では,モード接続と低損失領域の幾何学に基づく解析フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 0.4094848360328623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grokking refers to the delayed emergence of validation-set generalization after a model has already overfit the training set. Although first observed in small algorithmic tasks trained with transformers, its underlying mechanism remains unsettled. In this work, we develop an analysis framework based on mode connectivity and the geometry of low-loss regions. The framework predicts that the standard modular-arithmetic setting does not always produce grokking: under a symmetry-preserving train/validation split, we observe a stable anti-grokking case in which validation performance does not recover. This counterexample challenges several existing correlational explanations of grokking. More broadly, our analysis framework and results further suggest that grokking arises when the low-loss regions induced by the training and validation partitions are misaligned. Once these regions become well aligned, training hyperparameters alone cannot produce grokking and the observed dynamics collapse to either trainable or non-trainable behavior.
• Abstract（参考訳）: グロキング(Grokking)は、モデルのトレーニングセットがオーバーフィットした後、検証セットの一般化が遅れたことを指す。 最初は変圧器で訓練された小さなアルゴリズムのタスクで観察されたが、その基盤となるメカニズムは未解決のままである。 本研究では,モード接続と低損失領域の幾何学に基づく解析フレームワークを開発する。 このフレームワークは、標準のモジュラー・アセスメティック・セッティングが必ずしもグルーキングを生成するとは限らないことを予測し、対称性を保ったトレイン/バリデーションの分割の下で、バリデーション性能が回復しない安定したアンチ・グロキング・ケースを観察する。 この反例は、グラッキングに関するいくつかの既存の相関的な説明に挑戦する。 より広範に、トレーニングと検証の分割によって引き起こされる低損失領域が一致しない場合に、グラッキングが発生することを示唆する分析枠組みと結果がより広範に示された。 これらの領域が適切に整列されると、ハイパーパラメーターのトレーニングだけではグルーキングを発生させることができず、観察されたダイナミクスはトレーニング可能な動作かトレーニング不可能な動作に崩壊する。

関連論文リスト

• Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance [48.34904668359272]
  大規模言語モデルに対するアドリアック攻撃は、広範な研究にもかかわらず、実用的影響が限られている。 本稿では,Greedy Coordinate Diffusion(GCD)について紹介する。 GCDは、敵の本来の意図に低い難易度と高い意味的固執を維持している。
  論文  参考訳（メタデータ） (2026-06-14T01:18:53Z)
• Representation Collapse in Sequential Post-Training of Large Language Models [17.437127662981847]
  逐次後学習が内部表現を低ランク,異方性,均一な特徴空間に徐々に圧縮するかどうかを考察する。 我々は,制御段階順序下での教師付き微調整,選好最適化,安全/拒絶チューニング,数学とコードの特殊化,および長いチェーン・オブ・シンキングを解析した。
  論文  参考訳（メタデータ） (2026-05-28T19:59:17Z)
• The Evaluation Game: Beyond Static LLM Benchmarking [2.168753020470345]
  本稿では,評価者とトレーナーの相互作用を2人プレイヤゲームとして形式化するゲーム理論フレームワークを提案する。 モデルの局所性依存性を示す実証的証拠を提供する。 ベンチマークは静的なプロンプトのセットではなく,評価者のグループアクションの下での軌道である。
  論文  参考訳（メタデータ） (2026-05-19T05:22:21Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• To Grok Grokking: Provable Grokking in Ridge Regression [24.785366757570202]
  古典的な尾根回帰条件において, オーバーフィッティング後の一般化の開始点であるグラッキングについて検討した。 理論的にも経験的にも、グルキングは原則的に増幅または排除できることを示す。 以上の結果から,グルーキングは深層学習の固有の障害モードではなく,特定の訓練条件の結果であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-27T16:52:04Z)
• Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
  グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。 本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
  論文  参考訳（メタデータ） (2025-04-04T04:42:38Z)
• Grokking Explained: A Statistical Phenomenon [4.113597666007784]
  グローキング(英: Grokking)または遅延一般化(英: delay generalization)は、モデルのトレーニングセットの損失が収束した後のみ、テストセットの損失が急激に減少する興味深い学習現象である。 本稿では,グルーキングを定式化し,その出現の鍵となる要素がトレーニングデータとテストデータ間の分散シフトであることを示す。
  論文  参考訳（メタデータ） (2025-02-03T19:28:11Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Better Fine-Tuning by Reducing Representational Collapse [77.44854918334232]
  既存の訓練済み言語モデルに対するアプローチは不安定であることが示されている。 本稿では,従来使用されていた対数目的をパラメトリックノイズに置き換える信頼領域理論に根ざした手法を提案する。 事前学習されたモデルは、微調整されるたびにより一般化可能な表現を維持している。
  論文  参考訳（メタデータ） (2020-08-06T02:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。