論文の概要: Generalization error bounds for two-layer neural networks with Lipschitz loss function
- arxiv url: http://arxiv.org/abs/2604.06281v1
- Date: Tue, 07 Apr 2026 11:32:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.147956
- Title: Generalization error bounds for two-layer neural networks with Lipschitz loss function
- Title（参考訳）: リプシッツ損失関数を持つ2層ニューラルネットワークの一般化誤差境界
- Authors: Jiang Yu Nguwi, Nicolas Privault,
- Abstract要約: 損失関数の有界性を仮定することなく、2層ニューラルネットワークのトレーニングのための一般化誤差を導出する。
我々の境界とその係数はモデルの訓練に先立って明示的に計算され、数値シミュレーションによって確認される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We derive generalization error bounds for the training of two-layer neural networks without assuming boundedness of the loss function, using Wasserstein distance estimates on the discrepancy between a probability distribution and its associated empirical measure, together with moment bounds for the associated stochastic gradient method. In the case of independent test data, we obtain a dimension-free rate of order $O(n^{-1/2} )$ on the $n$-sample generalization error, whereas without independence assumption, we derive a bound of order $O(n^{-1 / ( d_{\rm in}+d_{\rm out} )} )$, where $d_{\rm in}$, $d_{\rm out}$ denote input and output dimensions. Our bounds and their coefficients can be explicitly computed prior to the training of the model, and are confirmed by numerical simulations.
- Abstract（参考訳）: 確率分布と関連する経験的測度との差によるワッサーシュタイン距離推定と関連する確率勾配法におけるモーメント境界とを用いて、損失関数の有界性を仮定することなく、2層ニューラルネットワークのトレーニングのための一般化誤差を導出する。
独立テストデータの場合、$O(n^{-1/2} )$の次元自由率を$n$sampleの一般化誤差で得られるが、独立仮定なしでは、$O(n^{-1 / (d_{\rm in}+d_{\rm out} )} の有界な順序を導出する($d_{\rm in}$, $d_{\rm out}$は入力と出力の次元を表す)。
我々の境界とその係数はモデルの訓練に先立って明示的に計算され、数値シミュレーションによって確認される。
関連論文リスト
- Approximating $f$-Divergences with Rank Statistics [0.3222802562733787]
ランクの分布を直接扱うことで、明示的な密度比推定を避けるために、$f$-divergencesのランク統計近似を導入する。
発散の結果として生じる推定量は、K$の単調であり、常に真$f$-発散の下位境界であることを示す。
ニューラルベースラインに対するベンチマークによるアプローチを実証的に検証し,生成モデル実験における学習目的としての利用を例証する。
論文 参考訳（メタデータ） (2026-01-30T10:05:33Z) - Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。
速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文 参考訳（メタデータ） (2025-12-01T05:14:25Z) - Efficient reductions from a Gaussian source with applications to statistical-computational tradeoffs [8.162867143465382]
我々はこの手法を利用して、平均ケースの複雑さにおいて広く信じられている予想の下で、いくつかの正準高次元統計モデルに対して、還元に基づく計算下界を確立する。
ガウス雑音を持つスパイクテンソルPCAの計算下界は、クラス内の他のガウス雑音分布にまで拡張可能であることを示す。
論文 参考訳（メタデータ） (2025-10-08T17:16:36Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Analysis of the expected $L_2$ error of an over-parametrized deep neural
network estimate learned by gradient descent without regularization [7.977229957867868]
近年の研究では、正規化された経験的リスクに勾配降下を適用して学習した過度パラメータ化されたディープニューラルネットワークによって定義される推定値が、普遍的に一貫していることが示されている。
本稿では、同様の結果を得るために正規化項は必要ないことを示す。
論文 参考訳（メタデータ） (2023-11-24T17:04:21Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。