論文の概要: Hardness of Learning Neural Networks with Natural Weights

• arxiv url: http://arxiv.org/abs/2006.03177v2
• Date: Tue, 13 Oct 2020 23:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 03:27:20.737614
• Title: Hardness of Learning Neural Networks with Natural Weights
• Title（参考訳）: 自然重みによるニューラルネットワーク学習の難しさ
• Authors: Amit Daniely and Gal Vardi
• Abstract要約: 深さ2$のネットワークと、正規分布や均一分布のような多くの「自然」重み分布では、ほとんどのネットワークは学習が困難であることを示す。 すなわち、ほとんどの重みと全ての入力分布に対して確実に成功する効率的な学習アルゴリズムは存在しない。
• 参考スコア（独自算出の注目度）: 36.32177840361928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are nowadays highly successful despite strong hardness results. The existing hardness results focus on the network architecture, and assume that the network's weights are arbitrary. A natural approach to settle the discrepancy is to assume that the network's weights are "well-behaved" and posses some generic properties that may allow efficient learning. This approach is supported by the intuition that the weights in real-world networks are not arbitrary, but exhibit some "random-like" properties with respect to some "natural" distributions. We prove negative results in this regard, and show that for depth-$2$ networks, and many "natural" weights distributions such as the normal and the uniform distribution, most networks are hard to learn. Namely, there is no efficient learning algorithm that is provably successful for most weights, and every input distribution. It implies that there is no generic property that holds with high probability in such random networks and allows efficient learning.
• Abstract（参考訳）: ニューラルネットワークは、強硬度にもかかわらず、現在非常に成功している。 既存のハードネスの結果はネットワークアーキテクチャに焦点を合わせ、ネットワークの重みが任意であると仮定する。 差を解消するための自然なアプローチは、ネットワークの重み付けが「十分に整備されている」と仮定し、効率的な学習を可能にするいくつかのジェネリックな特性を導入することである。 このアプローチは、現実世界のネットワークの重みは任意のものではなく、いくつかの「自然な」分布に関して「ランダムな」性質を示すという直感によって支持される。 この点において負の結果を証明し、深さ2$のネットワークと、正規分布や均一分布のような多くの「自然」重み分布では、ほとんどのネットワークは学習が困難であることを示す。 すなわち、ほとんどの重みと全ての入力分布に対して確実に成功する効率的な学習アルゴリズムは存在しない。 これは、そのようなランダムネットワークに高い確率を持ち、効率的な学習を可能にする汎用的性質は存在しないことを意味する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Neural Redshift: Random Networks are not Random Functions [28.357640341268745]
  NNには固有の「単純さバイアス」がないことを示す。 代替アーキテクチャは、あらゆるレベルの複雑さに対してバイアスで構築することができる。 これは、トレーニングされたモデルによって実装されたソリューションを制御するための有望な道を指す。
  論文  参考訳（メタデータ） (2024-03-04T17:33:20Z)
• Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
  我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。 また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。 この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
  論文  参考訳（メタデータ） (2023-10-25T12:38:36Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• Bit-wise Training of Neural Network Weights [4.56877715768796]
  ニューラルネットワークの重みを表す個々のビットを学習するアルゴリズムを導入する。 この方法は任意のビット深度で整数値で重みをトレーニングし、スパースネットワークを自然に発見する。 完全連結ネットワークを用いた標準的なトレーニング手法と,畳み込みネットワークや残留ネットワークの標準トレーニングと同等の性能を示す。
  論文  参考訳（メタデータ） (2022-02-19T10:46:54Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• How Powerful are Shallow Neural Networks with Bandlimited Random Weights? [25.102870584507244]
  制限深度2バンドランダムニューラルネットワークの表現力について検討する。 ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
  論文  参考訳（メタデータ） (2020-08-19T13:26:12Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。