論文の概要: The Sample Complexity of One-Hidden-Layer Neural Networks
- arxiv url: http://arxiv.org/abs/2202.06233v1
- Date: Sun, 13 Feb 2022 07:12:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 14:46:13.599410
- Title: The Sample Complexity of One-Hidden-Layer Neural Networks
- Title（参考訳）: 1層ニューラルネットワークのサンプル複雑性
- Authors: Gal Vardi, Ohad Shamir and Nathan Srebro
- Abstract要約: 本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。
隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。
スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
- 参考スコア（独自算出の注目度）: 57.6421258363243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study norm-based uniform convergence bounds for neural networks, aiming at
a tight understanding of how these are affected by the architecture and type of
norm constraint, for the simple class of scalar-valued one-hidden-layer
networks, and inputs bounded in Euclidean norm. We begin by proving that in
general, controlling the spectral norm of the hidden layer weight matrix is
insufficient to get uniform convergence guarantees (independent of the network
width), while a stronger Frobenius norm control is sufficient, extending and
improving on previous work. Motivated by the proof constructions, we identify
and analyze two important settings where a mere spectral norm control turns out
to be sufficient: First, when the network's activation functions are
sufficiently smooth (with the result extending to deeper networks); and second,
for certain types of convolutional networks. In the latter setting, we study
how the sample complexity is additionally affected by parameters such as the
amount of overlap between patches and the overall number of patches.
- Abstract（参考訳）: 本研究では,ニューラルネットワークのノルムベース一様収束境界について検討し,スカラー値単層ネットワークの単純クラスとユークリッドノルムに有界な入力に対して,これらがアーキテクチャやノルム制約のタイプにどのように影響するかを深く理解することを目的とした。
一般に、隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証する(ネットワーク幅に依存しない)には不十分であるが、より強いフロベニウスノルム制御は、以前の作業を拡張し改善するのに十分であることを示すことから始める。
まず、ネットワークのアクティベーション関数が十分に滑らかな場合(より深いネットワークに拡張された結果)、次に、ある種の畳み込みネットワークにおいて、単にスペクトルノルム制御が十分であることが判明した2つの重要な設定を特定し、分析する。
後者では,パッチ間の重複量やパッチの総数などのパラメータによって,サンプルの複雑さがどう影響するかを検討する。
関連論文リスト
- Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Deep Networks Provably Classify Data on Curves [12.309532551321334]
本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。
i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
論文 参考訳（メタデータ） (2021-07-29T20:40:04Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z) - Convexifying Sparse Interpolation with Infinitely Wide Neural Networks:
An Atomic Norm Approach [4.380224449592902]
この研究は、漏れやすい整列線形単位活性化を伴うスパース(ニューロン数)、無限幅の単一の隠蔽層ニューラルネットワークによる正確なデータの問題を調べる。
ネットワークの重みと偏りに関するいくつかの異なる制約の下で、この問題に対する対応する原子集合の凸殻の簡易な特徴付けを導出する。
また,提案手法を二項分類問題に拡張した。
論文 参考訳（メタデータ） (2020-07-15T21:40:51Z) - Universal Approximation Power of Deep Residual Neural Networks via
Nonlinear Control Theory [9.210074587720172]
我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。
残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
論文 参考訳（メタデータ） (2020-07-12T14:53:30Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳（メタデータ） (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。