論文の概要: Optimal bump functions for shallow ReLU networks: Weight decay, depth
separation and the curse of dimensionality
- arxiv url: http://arxiv.org/abs/2209.01173v1
- Date: Fri, 2 Sep 2022 17:14:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-09-05 12:09:45.797108
- Title: Optimal bump functions for shallow ReLU networks: Weight decay, depth
separation and the curse of dimensionality
- Title（参考訳）: 浅reluネットワークの最適バンプ関数:重みの減衰、深さの分離、次元の呪い
- Authors: Stephan Wojtowytsch
- Abstract要約: 単一の隠蔽層とReLUアクティベーションを持つニューラルネットワークは、原点のターゲットラベル1と単位球の外側の0との放射対称分布から引き出されたデータを補間する。
我々は、一意な放射対称最小化が存在することを証明し、その重み減衰正則化器とリプシッツ定数はそれぞれ$d$と$sqrtd$として成長する。
さらに、ラベルが原点ではなく半径$varepsilon$の球に1ドルを課すと、重量減衰正則化器は指数関数的に$d$で成長することを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this note, we study how neural networks with a single hidden layer and
ReLU activation interpolate data drawn from a radially symmetric distribution
with target labels 1 at the origin and 0 outside the unit ball, if no labels
are known inside the unit ball. With weight decay regularization and in the
infinite neuron, infinite data limit, we prove that a unique radially symmetric
minimizer exists, whose weight decay regularizer and Lipschitz constant grow as
$d$ and $\sqrt{d}$ respectively.
We furthermore show that the weight decay regularizer grows exponentially in
$d$ if the label $1$ is imposed on a ball of radius $\varepsilon$ rather than
just at the origin. By comparison, a neural networks with two hidden layers can
approximate the target function without encountering the curse of
dimensionality.
- Abstract（参考訳）: 本稿では,単一隠れ層とreluアクティベーションを持つニューラルネットワークが,単位球の内部にラベルが知られていなければ,原点のターゲットラベル1と単位球の外側の0との半径対称分布から引き出されたデータを補間する方法について検討する。
重み減衰正規化と無限のニューロン、無限データ極限において、一意な放射対称最小化器が存在し、その重み減衰正規化器とリプシッツ定数はそれぞれ$d$と$\sqrt{d}$となる。
さらに、ラベルが原点ではなく半径$\varepsilon$の球に1ドルを課すと、重量減衰正規化器は指数関数的に$d$で成長することを示した。
対照的に、2つの隠れ層を持つニューラルネットワークは、次元の呪いに遭遇することなく、対象関数を近似することができる。
関連論文リスト
- Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。
SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。
我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文 参考訳（メタデータ） (2024-05-26T17:08:04Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。
トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。
m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文 参考訳（メタデータ） (2023-02-18T05:06:15Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Correlation Functions in Random Fully Connected Neural Networks at
Finite Width [17.51364577113718]
この記事では、ガウスのランダムな重みとバイアスと$L$の隠蔽層を持つ完全に接続されたニューラルネットワークについて考察する。
有界非線形性に対しては、ネットワーク出力とその導関数の共役相関関数に対して1/n$の急激な再帰推定を与える。
いずれの場合も、深さと幅の比$L/n$は、個々のニューロンのゆらぎのスケールとニューロン間相関の大きさの両方を制御し、有効なネットワーク深さの役割を担っている。
論文 参考訳（メタデータ） (2022-04-03T11:57:18Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - A Law of Robustness for Weight-bounded Neural Networks [37.54604146791085]
最近(bubeck et al., 2020)は、k$ニューロンを持つ2層ネットワークを使ってジェネリックデータセットに適合する場合、最小のリプシッツ定数は$omega(sqrtfracnk)$であると予想した。
本研究では,任意のモデルクラスに対して,有界ラデマチャー複雑性を持つLipschitz定数の下限を導出する。
この結果は(bubeck et al., 2020)2層ネットワークにおける有界重みを仮定した予想と一致する。
論文 参考訳（メタデータ） (2021-02-16T11:28:59Z) - A law of robustness for two-layers neural networks [35.996863024271974]
我々は、任意のリプシッツ活性化関数とほとんどのデータセットにおいて、$k$のニューロンを持つ任意の2層ニューラルネットワークは、データに完全に適合する任意の2層ニューラルネットワークは、そのリプシッツ定数が$sqrtn/k$よりも大きい(定数まで)。
この予想は、リプシッツ定数が重み行列のスペクトルノルムに基づいて上界に置き換わるときに証明する。
論文 参考訳（メタデータ） (2020-09-30T05:13:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。