論文の概要: Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy

• arxiv url: http://arxiv.org/abs/2302.07426v2
• Date: Wed, 4 Oct 2023 11:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 22:30:47.066385
• Title: Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy
• Title（参考訳）: ニューラルネットワーク学習の計算複雑性:滑らかさと縮退
• Authors: Amit Daniely, Nathan Srebro, Gal Vardi
• Abstract要約: ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
• 参考スコア（独自算出の注目度）: 52.40331776572531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding when neural networks can be learned efficiently is a fundamental question in learning theory. Existing hardness results suggest that assumptions on both the input distribution and the network's weights are necessary for obtaining efficient algorithms. Moreover, it was previously shown that depth-$2$ networks can be efficiently learned under the assumptions that the input distribution is Gaussian, and the weight matrix is non-degenerate. In this work, we study whether such assumptions may suffice for learning deeper networks and prove negative results. We show that learning depth-$3$ ReLU networks under the Gaussian input distribution is hard even in the smoothed-analysis framework, where a random noise is added to the network's parameters. It implies that learning depth-$3$ ReLU networks under the Gaussian distribution is hard even if the weight matrices are non-degenerate. Moreover, we consider depth-$2$ networks, and show hardness of learning in the smoothed-analysis framework, where both the network parameters and the input distribution are smoothed. Our hardness results are under a well-studied assumption on the existence of local pseudorandom generators.
• Abstract（参考訳）: ニューラルネットワークが効率的に学習できるかを理解することは、学習理論の基本的な問題である。 既存の硬さは、効率的なアルゴリズムを得るためには入力分布とネットワークの重みの両方の仮定が必要であることを示唆している。 さらに, 入力分布がガウス的であり, 重み行列が非退化であると仮定して, 深さ$2$ネットワークを効率的に学習できることを示した。 本研究では,これらの仮定が深いネットワークの学習に十分であるかどうかを検証し,否定的な結果を示す。 ガウス入力分布下での学習深度3$ReLUネットワークは,ネットワークのパラメータにランダムノイズが付加されるスムーズな解析フレームワークにおいても困難であることを示す。 これは、ガウス分布の下での学習深さ-3$ relu ネットワークは、重み行列が非退化であっても難しいことを意味する。 さらに,ネットワークパラメータと入力分布の両方がスムーズであるスムーズな解析フレームワークにおいて,深度2ドルのネットワークを考慮し,学習の難しさを示す。 我々の硬度結果は、局所擬似ランダム発生器の存在についてよく研究された仮定の下にある。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
  我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。 また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。 この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
  論文  参考訳（メタデータ） (2023-10-25T12:38:36Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)
• A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
  ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。 単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。 より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
  論文  参考訳（メタデータ） (2020-07-02T05:07:55Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Hardness of Learning Neural Networks with Natural Weights [36.32177840361928]
  深さ2$のネットワークと、正規分布や均一分布のような多くの「自然」重み分布では、ほとんどのネットワークは学習が困難であることを示す。 すなわち、ほとんどの重みと全ての入力分布に対して確実に成功する効率的な学習アルゴリズムは存在しない。
  論文  参考訳（メタデータ） (2020-06-05T00:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。