論文の概要: On the Approximation Lower Bound for Neural Nets with Random Weights
- arxiv url: http://arxiv.org/abs/2008.08427v1
- Date: Wed, 19 Aug 2020 13:26:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 08:50:48.988649
- Title: On the Approximation Lower Bound for Neural Nets with Random Weights
- Title（参考訳）: ランダム重みを持つニューラルネットの近似下界について
- Authors: Sho Sonoda, Ming Li, Feilong Cao, Changqin Huang, Yu Guang Wang
- Abstract要約: ランダムトレーニングネットは、隠れた層がランダムな割り当てで凍結され、出力層が凸であるネットワークである。
一般に重みが近似されているにもかかわらず、浅いランダムネットは機能に対する低いニューラルネットワーク誤差を達成できないことを示す。
- 参考スコア（独自算出の注目度）: 16.737680362693055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A random net is a shallow neural network where the hidden layer is frozen
with random assignment and the output layer is trained by convex optimization.
Using random weights for a hidden layer is an effective method to avoid the
inevitable non-convexity in standard gradient descent learning. It has recently
been adopted in the study of deep learning theory. Here, we investigate the
expressive power of random nets. We show that, despite the well-known fact that
a shallow neural network is a universal approximator, a random net cannot
achieve zero approximation error even for smooth functions. In particular, we
prove that for a class of smooth functions, if the proposal distribution is
compactly supported, then a lower bound is positive. Based on the ridgelet
analysis and harmonic analysis for neural networks, the proof uses the
Plancherel theorem and an estimate for the truncated tail of the parameter
distribution. We corroborate our theoretical results with various simulation
studies, and generally two main take-home messages are offered: (i) Not any
distribution for selecting random weights is feasible to build a universal
approximator; (ii) A suitable assignment of random weights exists but to some
degree is associated with the complexity of the target function.
- Abstract（参考訳）: ランダムネットは、隠れた層がランダムな割り当てで凍結され、出力層が凸最適化によって訓練される浅いニューラルネットワークである。
隠蔽層にランダムウェイトを用いることは、標準勾配降下学習における避けられない非凸性を避けるための有効な方法である。
近年、深層学習理論の研究に採用されている。
本稿ではランダムネットの表現力について検討する。
浅層ニューラルネットワークが普遍近似器であるというよく知られている事実にもかかわらず、ランダムネットは滑らかな関数であってもゼロ近似誤差を達成できない。
特に、滑らかな関数のクラスに対して、提案分布がコンパクトにサポートされた場合、下界が正であることを証明する。
この証明は、ニューラルネットワークのリッジレット解析と調和解析に基づいて、パラメータ分布の切り裂かれた尾に対するプランシェレルの定理と推定値を用いる。
様々なシミュレーション研究で理論的結果が一致し、一般的に2つの主なメッセージが提供されます。
(i)ランダムな重みを選択するための分布は、普遍的近似器を構築することができない。
(ii) 乱重みの適切な割り当ては存在するが、ある程度は対象関数の複雑さと関連している。
関連論文リスト
- Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。
本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
論文 参考訳（メタデータ） (2024-03-25T19:39:17Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Finding Everything within Random Binary Networks [11.689913953698081]
ランダムネットワークを任意の精度で近似することは、二進数$pm1$重みのランダムネットワークを単純に作ることによって証明できる。
任意の対象ネットワークを任意の精度で近似できることを示すために、目的ネットワークよりも広く、より深い多対数係数である二進数$pm1$重みのランダムなネットワークを作ればよい。
論文 参考訳（メタデータ） (2021-10-18T03:19:25Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Searching for Minimal Optimal Neural Networks [4.94950858749529]
大きなニューラルネットワークモデルは高い予測力を持つが、トレーニングセットが十分に大きくない場合、過度に適合する可能性がある。
破壊的なアプローチは、大規模なアーキテクチャから始まり、ラッソ型ペナルティを使用してサイズを小さくする。
適応群Lassoが一貫したものであり、高い確率で1つの隠れ層フィードフォワードネットワークの隠れノードの正しい数を再構築できることを証明した。
論文 参考訳（メタデータ） (2021-09-27T14:08:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。
さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
論文 参考訳（メタデータ） (2020-07-30T23:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。