論文の概要: A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay

• arxiv url: http://arxiv.org/abs/2609.07755v1
• Date: Mon, 07 Sep 2026 16:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.488181
• Title: A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay
• Title（参考訳）: 重み劣化を伴う勾配方向のニューラルネットワークにおける一般化ダイナミクスの理論解析
• Abstract要約: 重み劣化を伴う勾配降下(GD)による損失$ell2$でトレーニングされたニューラルネットワークのクラスについて検討した。 集団誤差をデータ誤差、最適化誤差、予測変動誤差に分解し、それらを分離して有界化する。 予測変動誤差に対しては,(局所)近似等質性を提案し,セルワイドおよび層ワイド境界を導出する。
• 参考スコア（独自算出の注目度）: 32.27793372712302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding generalization remains a central challenge in machine learning because it requires jointly considering data, architecture, and training dynamics. In this paper, we develop a theoretical framework that characterizes how these factors jointly shape generalization performance throughout training. More precisely, we study a broad class of neural networks trained under the $\ell^2$ loss by gradient descent (GD) with weight decay, and prove the convergence of GD to a neighbourhood of the global minimizers of the empirical loss. By partitioning the space based on the input data, we then decompose the population error into data error, optimization error, and prediction variation error, and bound them separately. In particular, for the prediction variation error, which measures the oscillations of the learned function, we propose (local) approximate homogeneity and derive explicit cellwise and layerwise bounds for its evolution along the training trajectory. These bounds yield two important implications: a necessary condition of improved generalization explains differences in layerwise generalization behavior; a sufficient condition describes delayed generalization and provides a theoretical characterization of grokking.
• Abstract（参考訳）: 一般化を理解することは、データ、アーキテクチャ、トレーニングのダイナミクスを共同で検討する必要があるため、マシンラーニングにおいて依然として中心的な課題である。 本稿では,これらの要因が学習を通して一般化性能を共同で形成する過程を特徴付ける理論的枠組みを開発する。 より正確には、重量減衰を伴う勾配降下(GD)による損失$\ell^2$のニューラルネットワークを訓練し、GDのグローバルな損失の最小化器の近傍への収束を証明した。 入力データに基づいて空間を分割することにより、集団誤差をデータ誤差、最適化誤差、予測変動誤差に分解し、それらを分割する。 特に,学習関数の振動を計測する予測変動誤差に対しては,(局所的に)近似的均質性を提案し,学習軌跡に沿ったその発展のための明示的セルワイド境界と層ワイド境界を導出する。 これらの境界は2つの重要な意味を持つ: 改良された一般化の必要条件は階層的一般化の挙動の違いを説明する; 十分条件は遅れた一般化を記述し、グルーキングの理論的特徴を与える。

関連論文リスト

• Conjugate Learning Theory: Uncovering the Mechanisms of Trainability and Generalization in Deep Neural Networks [0.0]
  凸共役双対性に基づく共役学習理論フレームワークを開発し,この学習性特性を特徴付ける。 我々は,ミニバッチ降下(SGD)による深層ニューラルネットワーク(DNN)のトレーニングが,経験的リスクのグローバルな最適化を実現することを実証した。 条件付き一般化エントロピー測度に基づく一般化誤差に関する決定論的および確率的境界を導出する。
  論文  参考訳（メタデータ） (2026-02-18T04:26:55Z)
• Understanding Generalization from Embedding Dimension and Distributional Convergence [13.491874401333021]
  表現中心の観点から一般化を研究し、学習した埋め込みの幾何学が固定訓練モデルの予測性能をどのように制御するかを分析する。 人口リスクは, (i) 埋込み分布の内在的次元, (i) 埋込み分布のワッサーシュタイン距離における人口分布への収束率, (ii) 埋込みから予測への下流マッピングの感度, (ii) リプシッツ定数によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-30T09:32:04Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Modify Training Directions in Function Space to Reduce Generalization Error [9.821059922409091]
  本稿では,ニューラルネットワーク関数空間におけるニューラルタンジェントカーネルとフィッシャー情報行列の固有分解に基づく自然勾配降下法を提案する。 固有分解と統計理論から理論的手法を用いて学習したニューラルネットワーク関数の一般化誤差を明示的に導出する。
  論文  参考訳（メタデータ） (2023-07-25T07:11:30Z)
• Spectral Regularization Allows Data-frugal Learning over Combinatorial Spaces [13.36217184117654]
  機械学習モデルのスペクトル表現の規則化は、ラベル付きデータが乏しい場合に一般化能力を向上させることを示す。 正規化損失の勾配降下は、いくつかのデータ共有現実問題におけるベースラインアルゴリズムと比較して、より優れた一般化性能をもたらす。
  論文  参考訳（メタデータ） (2022-10-05T23:31:54Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Learning While Dissipating Information: Understanding the Generalization Capability of SGLD [9.328633662865682]
  勾配ランゲヴィンダイナミクス(SGLD)を解析してアルゴリズム依存の一般化を導出する。 分析の結果,学習と情報伝達の複雑なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2021-02-05T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。