論文の概要: Efficiently Learning Neural Networks: What Assumptions May Suffice?
- arxiv url: http://arxiv.org/abs/2302.07426v1
- Date: Wed, 15 Feb 2023 02:00:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-16 16:00:34.179499
- Title: Efficiently Learning Neural Networks: What Assumptions May Suffice?
- Title(参考訳): ニューラルネットワークを効率的に学習する: どんな仮定が十分か?
- Authors: Amit Daniely, Nathan Srebro, Gal Vardi
- Abstract要約: ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。
この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
- 参考スコア(独自算出の注目度): 53.96813091480778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding when neural networks can be learned efficiently is a
fundamental question in learning theory. Existing hardness results suggest that
assumptions on both the input distribution and the network's weights are
necessary for obtaining efficient algorithms. Moreover, it was previously shown
that depth-$2$ networks can be efficiently learned under the assumptions that
the input distribution is Gaussian, and the weight matrix is non-degenerate. In
this work, we study whether such assumptions may suffice for learning deeper
networks and prove negative results. We show that learning depth-$3$ ReLU
networks under the Gaussian input distribution is hard even in the
smoothed-analysis framework, where a random noise is added to the network's
parameters. It implies that learning depth-$3$ ReLU networks under the Gaussian
distribution is hard even if the weight matrices are non-degenerate. Moreover,
we consider depth-$2$ networks, and show hardness of learning in the
smoothed-analysis framework, where both the network parameters and the input
distribution are smoothed. Our hardness results are under a well-studied
assumption on the existence of local pseudorandom generators.
- Abstract(参考訳): ニューラルネットワークが効率的に学習できるかを理解することは、学習理論の基本的な問題である。
既存の硬さは、効率的なアルゴリズムを得るためには入力分布とネットワークの重みの両方の仮定が必要であることを示唆している。
さらに, 入力分布がガウス的であり, 重み行列が非退化であると仮定して, 深さ$2$ネットワークを効率的に学習できることを示した。
本研究では,これらの仮定が深いネットワークの学習に十分であるかどうかを検証し,否定的な結果を示す。
ガウス入力分布下での学習深度3$ReLUネットワークは,ネットワークのパラメータにランダムノイズが付加されるスムーズな解析フレームワークにおいても困難であることを示す。
これは、ガウス分布の下での学習深さ-3$ relu ネットワークは、重み行列が非退化であっても難しいことを意味する。
さらに,ネットワークパラメータと入力分布の両方がスムーズであるスムーズな解析フレームワークにおいて,深度2ドルのネットワークを考慮し,学習の難しさを示す。
我々の硬度結果は、局所擬似ランダム発生器の存在についてよく研究された仮定の下にある。
関連論文リスト
- Beyond IID weights: sparse and low-rank deep Neural Networks are also
Gaussian Processes [4.14360329494344]
我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。
また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。
論文 参考訳(メタデータ) (2023-10-25T12:38:36Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive
Compression [40.35734017517066]
ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。
最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
論文 参考訳(メタデータ) (2021-01-27T12:34:58Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - How Powerful are Shallow Neural Networks with Bandlimited Random
Weights? [25.102870584507244]
制限深度2バンドランダムニューラルネットワークの表現力について検討する。
ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
論文 参考訳(メタデータ) (2020-08-19T13:26:12Z) - A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。
単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。
より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
論文 参考訳(メタデータ) (2020-07-02T05:07:55Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳(メタデータ) (2020-06-24T02:44:54Z) - Hardness of Learning Neural Networks with Natural Weights [36.32177840361928]
深さ2$のネットワークと、正規分布や均一分布のような多くの「自然」重み分布では、ほとんどのネットワークは学習が困難であることを示す。
すなわち、ほとんどの重みと全ての入力分布に対して確実に成功する効率的な学習アルゴリズムは存在しない。
論文 参考訳(メタデータ) (2020-06-05T00:14:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。