論文の概要: Optimal bump functions for shallow ReLU networks: Weight decay, depth separation and the curse of dimensionality

• arxiv url: http://arxiv.org/abs/2209.01173v1
• Date: Fri, 2 Sep 2022 17:14:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:09:45.797108
• Title: Optimal bump functions for shallow ReLU networks: Weight decay, depth separation and the curse of dimensionality
• Title（参考訳）: 浅reluネットワークの最適バンプ関数:重みの減衰、深さの分離、次元の呪い
• Authors: Stephan Wojtowytsch
• Abstract要約: 単一の隠蔽層とReLUアクティベーションを持つニューラルネットワークは、原点のターゲットラベル1と単位球の外側の0との放射対称分布から引き出されたデータを補間する。 我々は、一意な放射対称最小化が存在することを証明し、その重み減衰正則化器とリプシッツ定数はそれぞれ$d$と$sqrtd$として成長する。 さらに、ラベルが原点ではなく半径$varepsilon$の球に1ドルを課すと、重量減衰正則化器は指数関数的に$d$で成長することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this note, we study how neural networks with a single hidden layer and ReLU activation interpolate data drawn from a radially symmetric distribution with target labels 1 at the origin and 0 outside the unit ball, if no labels are known inside the unit ball. With weight decay regularization and in the infinite neuron, infinite data limit, we prove that a unique radially symmetric minimizer exists, whose weight decay regularizer and Lipschitz constant grow as $d$ and $\sqrt{d}$ respectively. We furthermore show that the weight decay regularizer grows exponentially in $d$ if the label $1$ is imposed on a ball of radius $\varepsilon$ rather than just at the origin. By comparison, a neural networks with two hidden layers can approximate the target function without encountering the curse of dimensionality.
• Abstract（参考訳）: 本稿では,単一隠れ層とreluアクティベーションを持つニューラルネットワークが,単位球の内部にラベルが知られていなければ,原点のターゲットラベル1と単位球の外側の0との半径対称分布から引き出されたデータを補間する方法について検討する。 重み減衰正規化と無限のニューロン、無限データ極限において、一意な放射対称最小化器が存在し、その重み減衰正規化器とリプシッツ定数はそれぞれ$d$と$\sqrt{d}$となる。 さらに、ラベルが原点ではなく半径$\varepsilon$の球に1ドルを課すと、重量減衰正規化器は指数関数的に$d$で成長することを示した。 対照的に、2つの隠れ層を持つニューラルネットワークは、次元の呪いに遭遇することなく、対象関数を近似することができる。

関連論文リスト

• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Correlation Functions in Random Fully Connected Neural Networks at Finite Width [17.51364577113718]
  この記事では、ガウスのランダムな重みとバイアスと$L$の隠蔽層を持つ完全に接続されたニューラルネットワークについて考察する。 有界非線形性に対しては、ネットワーク出力とその導関数の共役相関関数に対して1/n$の急激な再帰推定を与える。 いずれの場合も、深さと幅の比$L/n$は、個々のニューロンのゆらぎのスケールとニューロン間相関の大きさの両方を制御し、有効なネットワーク深さの役割を担っている。
  論文  参考訳（メタデータ） (2022-04-03T11:57:18Z)
• An Exponential Improvement on the Memorization Capacity of Deep Threshold Networks [40.489350374378645]
  我々は$widetildemathcalO(e1/delta2+sqrtn)$ニューロンと$widetildemathcalO(fracddelta+n)$ウェイトが十分であることを証明した。 また、超平面を用いて球面上の$n$の点を分離する純粋に幾何学的な問題にニューラルネットワークを接続することで、新しい下界を証明した。
  論文  参考訳（メタデータ） (2021-06-14T19:42:32Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• A Law of Robustness for Weight-bounded Neural Networks [37.54604146791085]
  最近(bubeck et al., 2020)は、k$ニューロンを持つ2層ネットワークを使ってジェネリックデータセットに適合する場合、最小のリプシッツ定数は$omega(sqrtfracnk)$であると予想した。 本研究では,任意のモデルクラスに対して,有界ラデマチャー複雑性を持つLipschitz定数の下限を導出する。 この結果は(bubeck et al., 2020)2層ネットワークにおける有界重みを仮定した予想と一致する。
  論文  参考訳（メタデータ） (2021-02-16T11:28:59Z)
• A law of robustness for two-layers neural networks [35.996863024271974]
  我々は、任意のリプシッツ活性化関数とほとんどのデータセットにおいて、$k$のニューロンを持つ任意の2層ニューラルネットワークは、データに完全に適合する任意の2層ニューラルネットワークは、そのリプシッツ定数が$sqrtn/k$よりも大きい(定数まで)。 この予想は、リプシッツ定数が重み行列のスペクトルノルムに基づいて上界に置き換わるときに証明する。
  論文  参考訳（メタデータ） (2020-09-30T05:13:12Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。