論文の概要: Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early-Stopping

• arxiv url: http://arxiv.org/abs/2407.11353v3
• Date: Wed, 20 Aug 2025 00:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 14:45:44.03475
• Title: Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early-Stopping
• Title（参考訳）: プレコンディショニングによる過パラメータニューラルネットワークによる補間空間における非パラメトリック回帰のシャープ一般化
• Authors: Yingzhen Yang, Ping Li,
• Abstract要約: 我々は、新しいプレコンディション付きグラディエントDescent(PGD)アルゴリズムを用いてニューラルネットワークを訓練する。 ターゲット関数が空間$[mathcal H_K]s'$ with $s' ge 3$ であるとき、PGD が $mathcal O(n-frac2alpha2alpha+1)$ のシャープ回帰率を達成することを示す。
• 参考スコア（独自算出の注目度）: 19.988762532185884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study nonparametric regression using an over-parameterized two-layer neural networks trained with algorithmic guarantees in this paper. We consider the setting where the training features are drawn uniformly from the unit sphere in $\mathbb{R}^d$, and the target function lies in an interpolation space commonly studied in statistical learning theory. We demonstrate that training the neural network with a novel Preconditioned Gradient Descent (PGD) algorithm, equipped with early stopping, achieves a sharp regression rate of $\mathcal O(n^{-\frac{2\alpha s'}{2\alpha s'+1}})$ when the target function is in the interpolation space $[\mathcal H_K]^{s'}$ with $s' \ge 3$. This rate is even sharper than the currently known nearly-optimal rate of $\mathcal O(n^{-\frac{2\alpha s'}{2\alpha s'+1}})\log^2(1/\delta)$~\citep{Li2024-edr-general-domain}, where $n$ is the size of the training data and $\delta \in (0,1)$ is a small probability. This rate is also sharper than the standard kernel regression rate of $\mathcal O(n^{-\frac{2\alpha}{2\alpha+1}})$ obtained under the regular Neural Tangent Kernel (NTK) regime when training the neural network with the vanilla gradient descent (GD), where $2\alpha = d/(d-1)$. Our analysis is based on two key technical contributions. First, we present a principled decomposition of the network output at each PGD step into a function in the reproducing kernel Hilbert space (RKHS) of a newly induced integral kernel, and a residual function with small $L^{\infty}$-norm. Second, leveraging this decomposition, we apply local Rademacher complexity theory to tightly control the complexity of the function class comprising all the neural network functions obtained in the PGD iterates. Our results further suggest that PGD enables the neural network to escape the linear NTK regime and achieve improved generalization by inducing a new integral kernel of lower kernel complexity.
• Abstract（参考訳）: 本稿では,アルゴリズムによる保証を訓練した過パラメータ化された2層ニューラルネットワークを用いて,非パラメトリック回帰について検討する。 トレーニング特徴が単位球面から$\mathbb{R}^d$で均一に描画されるような設定を考慮し、対象関数は統計学習理論でよく研究される補間空間にある。 ニューラルネットワークを早期停止機能を備えた新しいプレコンディショニンググラディエントDescent (PGD) アルゴリズムでトレーニングし, 対象関数が補間空間$[\mathcal H_K]^{s'}$で$s' \ge 3$の場合には, $\mathcal O(n^{-\frac{2\alpha s'}{2\alpha s'+1}})のシャープ回帰率を得ることを示した。 この値は、現在知られているほぼ最適の$\mathcal O(n^{-\frac{2\alpha s'}{2\alpha s'+1}})\log^2(1/\delta)$~\citep{Li2024-edr- general- domain} よりもシャープである。 この値は、バニラ勾配降下(GD)でニューラルネットワークをトレーニングする際、通常のニューラル・タンジェント・カーネル(NTK)方式で得られる標準的なカーネル回帰率$\mathcal O(n^{-\frac{2\alpha}{2\alpha+1}})$よりシャープである。 我々の分析は2つの重要な技術貢献に基づいている。 まず、各PGDステップにおけるネットワーク出力を、新たに誘導された積分核の再生カーネルヒルベルト空間(RKHS)の関数と、小さな$L^{\infty}$-normの残関数に分解する。 第二に、この分解を利用して局所ラデマッハ複雑性理論を適用し、PGDで得られた全てのニューラルネットワーク関数からなる関数クラスの複雑性を厳格に制御する。 さらに, PGDにより, ニューラルネットワークが線形NTK体制を脱却し, カーネルの複雑さを低減した新しい積分カーネルを誘導することにより, 一般化を実現することが示唆された。

関連論文リスト

• Gradient Descent Finds Over-Parameterized Neural Networks with Sharp Generalization for Nonparametric Regression: A Distribution-Free Analysis [19.988762532185884]
  ニューラルネットワークが早期停止でGDによってトレーニングされている場合、トレーニングされたネットワークは、非パラメトリック回帰リスクが$cO(eps_n2)$のシャープレートを示す。 本研究の結果は,トレーニングデータに分布的な仮定を必要としないことが示唆された。
  論文  参考訳（メタデータ） (2024-11-05T08:43:54Z)
• Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods [43.32546195968771]
  本研究では,スムーズなアクティベーションを有するニューラルネットワークに対する勾配法におけるデータ依存収束と一般化挙動について検討する。 我々の結果は、よく確立されたRadecher複雑性に基づく境界の欠点を改善した。 XOR分布の分類において、NTK体制の結果に対して大きなステップサイズが大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2024-10-13T21:49:29Z)
• Convergence Analysis of Natural Gradient Descent for Over-parameterized Physics-Informed Neural Networks [3.680127959836384]
  勾配勾配勾配(GD)や二次勾配勾配(SGD)のような一階法はニューラルネットワークのトレーニングに有効であることが証明されている。 しかし, 2層ニューラルネットワークの学習におけるGDの学習速度は, サンプルサイズとグラム行列に依存しない。 本稿では, 回帰問題である$L2$に対して, 学習率を$mathcalO(1)$から$mathcalO(1)$に改善できることを示す。
  論文  参考訳（メタデータ） (2024-08-01T14:06:34Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• A Convergence Analysis of Nesterov's Accelerated Gradient Method in Training Deep Linear Neural Networks [21.994004684742812]
  モメンタム法は高速軌道のトレーニングネットワークで広く用いられている。 ランダム数と$kappaOの収束は、大域的な最小値に収束できることを示す。 我々は解析を深い線形ResNetに拡張し、同様の結果を導出する。
  論文  参考訳（メタデータ） (2022-04-18T13:24:12Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network [20.132432350255087]
  タンジェント降下(GD)によってトレーニングされた過度にパラメータ化されたニューラルネットワークは、任意のトレーニングデータを確実に過度に適合させることができる。 本稿では、過度にパラメータ化されたニューラルネットワークが、ランダムノイズの存在下での真のターゲット関数をいかに回復するかを考察する。
  論文  参考訳（メタデータ） (2020-07-06T01:02:23Z)
• A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
  ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。 単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。 より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
  論文  参考訳（メタデータ） (2020-07-02T05:07:55Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。