論文の概要: Do Flatter Minima Drive Better Generalization? An Algorithmic Separation in Grokking

• arxiv url: http://arxiv.org/abs/2610.11206v1
• Date: Thu, 08 Oct 2026 04:06:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.794419
• Title: Do Flatter Minima Drive Better Generalization? An Algorithmic Separation in Grokking
• Title（参考訳）: フラッターミニマは一般化を促進するか? : グローキングにおけるアルゴリズム的分離
• Abstract要約: この遷移において、平坦な損失景観が駆動機構として機能するかどうかを考察する。 シャープネス認識最小化(SAM)を用いた平らな解に対する偏り学習は、この遷移を確実に誘導するには不十分である。 SAMが重量減衰などの一般化を駆動する機構と組み合わせられると、興味深い性質が現れる: SAMはエポックレベルで最大4倍の一般化解への移行を加速することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flat loss landscapes have long been linked to better generalization in neural networks. However, its role as a causal mechanism for generalization is less established. Grokking provides an unique testbed to understand this distinction: models are prone to fit observed data using non-generalizing structure and remain in that regime for prolonged periods, transitioning to generalization only under particular training conditions. In this work, we study whether flat loss landscapes can act as a driving mechanism in this transition. While recent work has argued for flatness as a necessary geometric condition for this transition, we find that biasing training toward flatter solutions using sharpness-aware minimization (SAM) is insufficient to reliably induce this transition, despite producing flatter solutions. However, when SAM is paired with mechanisms that drive generalization such as weight decay, an interesting property emerges: SAM can accelerate the transition to generalizing solutions by up to 4x at the epoch-level. We theoretically untangle this relationship between SAM and weight decay using a minimal interpolating two-layer ReLU model with both memorizing and generalizing solutions. We show that even in this simple setup, flatness alone cannot distinguish a memorizing solution from a generalizing one, while weight decay favors generalizing solutions. However, under a local stability analysis, there exists a window where a memorizing interpolant is locally stable under gradient descent but unstable under SAM in the low-norm regime, which can explain SAM's ability to accelerate this transition. Overall, our results provide a more interpretable account of the role of flatness in driving generalization, especially in settings where models are vulnerable to minimizing loss through learning non-generalizing structure.
• Abstract（参考訳）: フラットロスの風景は長い間、ニューラルネットワークのより良い一般化に結び付けられてきた。 しかし、一般化の因果メカニズムとしての役割は確立されていない。 モデルは、非一般化構造を用いて観測されたデータに適合しやすく、長い期間その状態に留まり、特定の訓練条件下でのみ一般化に移行する。 本研究では、この遷移において、平坦な損失景観が駆動機構として機能するかどうかを考察する。 近年の研究では、この遷移に必要となる幾何学的条件として平坦性について論じられているが、鋭さを意識した最小化(SAM)を用いた平坦性解に対する偏り学習は、平坦性解を生成するにもかかわらず、確実にこの遷移を誘導するには不十分である。 しかし、SAMと重量減衰のような一般化を駆動する機構が組み合わさると、興味深い性質が現れる:SAMはエポックレベルで最大4倍の一般化解への移行を加速することができる。 我々は,最小補間2層ReLUモデルを用いて,SAMと重み劣化の関係を,記憶と一般化の両解で解く。 この単純な設定であっても、平らさだけでは、記憶解と一般化解を区別することはできないが、重み減衰は一般化解を好む。 しかし、局所安定性解析の下では、暗記インターポーラントが勾配降下下で局所的に安定であるが、低ノルム状態下でSAMの下で不安定である窓が存在するため、SAMがこの遷移を加速する能力を説明することができる。 特にモデルが非一般化構造を学習することで損失を最小限に抑えられるような環境では, 一般化を駆動する上での平坦性の役割について, より解釈学的に考察した。

関連論文リスト

• Grokking through the Lens of Minimum-Norm Interpolation [25.315895839734566]
  我々は、正規化幾何学と信号空間が一般化をどのように支配するかを特徴付ける統計理論を開発する。 特に、高次元回帰の原型的設定に焦点をあて、空間的プロモーティング正規化が近似的適合よりもはるかに正確であるような規則を同定する。 正規化強度の小さな摂動は、小さなトレーニングエラーを保ちながら、大幅に異なる一般化をもたらす可能性がある。
  論文  参考訳（メタデータ） (2026-09-29T19:44:32Z)
• FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning [65.74073318961548]
  シャープネス・アウェア (SAM) は, 局所訓練を平らなミニマに向けて行うことにより, 連邦学習(FL)の一般化を改善する効果的な方法である。 最小化抑制型シャープネス抑圧探索(FedVSSAM)によるフェデレーション学習を提案する。 FedVSSAMは、より安定したグローバルな方向への更新方向をアンカーし、局所的な平坦な摂動、局所的な更新で一貫して使用する。
  論文  参考訳（メタデータ） (2026-05-09T20:03:02Z)
• On the Computational Complexity of Performative Prediction [59.584063949469645]
  我々は、$$-performatively stable pointの計算がPPAD完全であることを示す。 我々の重要な技術的貢献の1つは、PPAD-hardnessの結果を一般的な凸領域に拡張することである。
  論文  参考訳（メタデータ） (2026-01-28T02:26:35Z)
• A Unified Stability Analysis of SAM vs SGD: Role of Data Coherence and Emergence of Simplicity Bias [7.446140380340418]
  勾配降下(SGD)とその変種は、よく一般化する解を確実に見つけるが、この一般化を導くメカニズムはいまだ不明である。 本研究では,SGD,ランダム摂動,SAMの挙動を,特に2層ReLUネットワーク上で解析する線形安定性フレームワークを開発する。 私たちの分析の中心は、データポイント間の勾配曲率の整合性を定量化するコヒーレンス尺度であり、トレーニング中に特定のミニマが安定して好まれる理由を明らかにしている。
  論文  参考訳（メタデータ） (2025-11-21T16:41:14Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Gradient Norm Aware Minimization Seeks First-Order Flatness and Improves Generalization [33.50116027503244]
  ゼロ階平坦性は低勾配誤差で最小値の判別に不十分であることを示す。 また,全方向にわたって一様に曲率の小さい最小値を求めるため,GAM(Gradient norm Aware Minimization)と呼ばれる新しいトレーニング手順を提案する。
  論文  参考訳（メタデータ） (2023-03-03T16:58:53Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。