論文の概要: How Powerful are Shallow Neural Networks with Bandlimited Random Weights?

• arxiv url: http://arxiv.org/abs/2008.08427v4
• Date: Wed, 31 May 2023 10:04:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 12:19:56.980098
• Title: How Powerful are Shallow Neural Networks with Bandlimited Random Weights?
• Title（参考訳）: 帯域制限ランダムウェイトを持つ浅層ニューラルネットワークはどの程度強力か?
• Authors: Ming Li, Sho Sonoda, Feilong Cao, Yu Guang Wang, Jiye Liang
• Abstract要約: 制限深度2バンドランダムニューラルネットワークの表現力について検討する。 ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
• 参考スコア（独自算出の注目度）: 25.102870584507244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the expressive power of depth-2 bandlimited random neural networks. A random net is a neural network where the hidden layer parameters are frozen with random assignment, and only the output layer parameters are trained by loss minimization. Using random weights for a hidden layer is an effective method to avoid non-convex optimization in standard gradient descent learning. It has also been adopted in recent deep learning theories. Despite the well-known fact that a neural network is a universal approximator, in this study, we mathematically show that when hidden parameters are distributed in a bounded domain, the network may not achieve zero approximation error. In particular, we derive a new nontrivial approximation error lower bound. The proof utilizes the technique of ridgelet analysis, a harmonic analysis method designed for neural networks. This method is inspired by fundamental principles in classical signal processing, specifically the idea that signals with limited bandwidth may not always be able to perfectly recreate the original signal. We corroborate our theoretical results with various simulation studies, and generally, two main take-home messages are offered: (i) Not any distribution for selecting random weights is feasible to build a universal approximator; (ii) A suitable assignment of random weights exists but to some degree is associated with the complexity of the target function.
• Abstract（参考訳）: 本研究では、深度2帯域幅のランダムニューラルネットワークの表現力について検討する。 ランダムネットは、隠れた層パラメータがランダム割り当てで凍結され、出力層パラメータだけが損失最小化によって訓練されるニューラルネットワークである。 正規勾配降下学習における非凸最適化を回避するために,隠れ層に対するランダムウェイトを用いることが有効な方法である。 近年の深層学習理論にも採用されている。 ニューラルネットワークが普遍近似器であることはよく知られているが,本研究では,隠れたパラメータが有界領域に分散されている場合,ネットワークがゼロ近似誤差を達成できないことを数学的に示す。 特に、新しい非自明な近似誤差の下界を導出する。 この証明は、ニューラルネットワーク用に設計された調和解析手法であるリッジレット解析の手法を利用する。 この手法は古典的な信号処理の基本原理、特に帯域幅が限られている信号が元の信号を完全に再現できるとは限らないという考え方に着想を得ている。 私たちは様々なシミュレーション研究で理論結果と一致させ、一般的に2つの主なメッセージが提供されます。 (i)ランダムな重みを選択するための分布は、普遍的近似器を構築することができない。 (ii) 乱重みの適切な割り当ては存在するが、ある程度は対象関数の複雑さと関連している。

関連論文リスト

• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• Sampling weights of deep neural networks [1.2370077627846041]
  完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。 教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。 サンプルネットワークが普遍近似器であることを証明する。
  論文  参考訳（メタデータ） (2023-06-29T10:13:36Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Finding Everything within Random Binary Networks [11.689913953698081]
  ランダムネットワークを任意の精度で近似することは、二進数$pm1$重みのランダムネットワークを単純に作ることによって証明できる。 任意の対象ネットワークを任意の精度で近似できることを示すために、目的ネットワークよりも広く、より深い多対数係数である二進数$pm1$重みのランダムなネットワークを作ればよい。
  論文  参考訳（メタデータ） (2021-10-18T03:19:25Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Searching for Minimal Optimal Neural Networks [4.94950858749529]
  大きなニューラルネットワークモデルは高い予測力を持つが、トレーニングセットが十分に大きくない場合、過度に適合する可能性がある。 破壊的なアプローチは、大規模なアーキテクチャから始まり、ラッソ型ペナルティを使用してサイズを小さくする。 適応群Lassoが一貫したものであり、高い確率で1つの隠れ層フィードフォワードネットワークの隠れノードの正しい数を再構築できることを証明した。
  論文  参考訳（メタデータ） (2021-09-27T14:08:07Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
  ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。 さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
  論文  参考訳（メタデータ） (2020-07-30T23:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。