論文の概要: Towards Initialization-dependent and Non-vacuous Generalization Bounds for Overparameterized Shallow Neural Networks

• arxiv url: http://arxiv.org/abs/2604.00505v1
• Date: Wed, 01 Apr 2026 05:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.850935
• Title: Towards Initialization-dependent and Non-vacuous Generalization Bounds for Overparameterized Shallow Neural Networks
• Title（参考訳）: 過パラメータ型浅層ニューラルネットワークの初期化依存型および非空化一般化境界を目指して
• Abstract要約: 我々は,一般のリプシッツ活性化関数を持つ浅層ニューラルネットワークの高速初期化依存境界を開発する。 我々の境界は、新しい剥離技術を導入することによって導かれる初期化からの距離の経路ノルムに依存する。 また、定数係数までしっかりとした下界を発達させる。
• 参考スコア（独自算出の注目度）: 21.223229143122897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overparameterized neural networks often show a benign overfitting property in the sense of achieving excellent generalization behavior despite the number of parameters exceeding the number of training examples. A promising direction to explain benign overfitting is to relate generalization to the norm of distance from initialization, motivated by the empirical observations that this distance is often significantly smaller than the norm itself. However, the existing initialization-dependent complexity analyses cannot fully exploit the power of initialization since the associated bounds depend on the spectral norm of the initialization matrix, which can scale as a square-root function of the width and are therefore not effective for overparameterized models. In this paper, we develop the first \emph{fully} initialization-dependent complexity bounds for shallow neural networks with general Lipschitz activation functions, which enjoys a logarithmic dependency on the width. Our bounds depend on the path-norm of the distance from initialization, which are derived by introducing a new peeling technique to handle the challenge along with the initialization-dependent constraint. We also develop a lower bound tight up to a constant factor. Finally, we conduct empirical comparisons and show that our generalization analysis implies non-vacuous bounds for overparameterized networks.
• Abstract（参考訳）: 過パラメータ化ニューラルネットワークは、トレーニング例の数を超えるパラメータの数にもかかわらず、優れた一般化行動を達成するという意味で、良質な過剰適合性を示すことが多い。 良性過剰適合を説明するための有望な方向は、一般化と初期化からの距離のノルムを関連付けることである。 しかし、既存の初期化に依存した複雑性解析は、初期化行列のスペクトルノルムに依存するため、初期化のパワーを完全に活用することはできない。 本稿では,その幅に対数依存を持つ一般のリプシッツ活性化関数を持つ浅層ニューラルネットワークに対して,最初のemph{fully}初期化に依存した複雑性境界を開発する。 我々の境界は初期化からの距離の経路ノルムに依存しており、初期化に依存した制約とともに、課題に対処する新しい剥離技術を導入することによって導かれる。 また、定数係数までしっかりとした下界を発達させる。 最後に、経験的比較を行い、一般化解析が過パラメータネットワークの非空境界を意味することを示す。

関連論文リスト

• PAC-Bayesian Adversarially Robust Generalization for Message Passing Graph Neural Networks: A Sensitivity Analysis [80.64607823130437]
  PAC-BayesianフレームワークをディープニューラルネットワークからメッセージパッシングGNNまで拡張する。 我々は、対向的な設定でより強固な一般化を導出する。
  論文  参考訳（メタデータ） (2026-06-04T15:31:21Z)
• PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory [10.93258787701145]
  ギブス後方に対する明示的非漸近性PAC-Bayes一般化境界を導出する。 古典的な最悪ケースの複雑性境界は、大数の均一な法則に基づいているのとは異なり、我々の分析は、平均的な後続のリスク境界をもたらす。
  論文  参考訳（メタデータ） (2026-04-19T03:00:18Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Principles for Initialization and Architecture Selection in Graph Neural Networks with ReLU Activations [17.51364577113718]
  ReLUを活性化した有限幅グラフニューラルネットワーク(GNN)におけるアーキテクチャ選択の3つの原理を示す。 まず、よく知られた He-initialization の ReLU GNN への一意的な一般化を理論的に導出する。 第2に、有限幅バニラReLU GNNにおいて、固定アグリゲーション演算子を用いる場合、オーバースムーシングが大深度では避けられないことを証明する。
  論文  参考訳（メタデータ） (2023-06-20T16:40:41Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks [39.856439772974454]
  グローバル最小値への効率的な収束に必要な幅は, 深さに依存しないことを示す。 この結果から, 非線形ネットワークの初期化による最近の経験的成功について, 動的アイソメトリの原理による説明が得られた。
  論文  参考訳（メタデータ） (2020-01-16T18:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。