論文の概要: Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks

• arxiv url: http://arxiv.org/abs/2106.14997v1
• Date: Mon, 28 Jun 2021 22:01:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 15:34:45.659303
• Title: Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks
• Title（参考訳）: 浅層ニューラルネットワークの近似速度に及ぼすシャープ下界の影響
• Authors: Jonathan W. Siegel, Jinchao Xu
• Abstract要約: 浅部ニューラルネットワークの近似速度に対して, 急激な下界を証明した。 これらの下界は、有界変動を持つシグモノイド活性化関数と、ReLUのパワーである活性化関数の両方に適用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the approximation rates of shallow neural networks with respect to the variation norm. Upper bounds on these rates have been established for sigmoidal and ReLU activation functions, but it has remained an important open problem whether these rates are sharp. In this article, we provide a solution to this problem by proving sharp lower bounds on the approximation rates for shallow neural networks, which are obtained by lower bounding the $L^2$-metric entropy of the convex hull of the neural network basis functions. In addition, our methods also give sharp lower bounds on the Kolmogorov $n$-widths of this convex hull, which show that the variation spaces corresponding to shallow neural networks cannot be efficiently approximated by linear methods. These lower bounds apply to both sigmoidal activation functions with bounded variation and to activation functions which are a power of the ReLU. Our results also quantify how much stronger the Barron spectral norm is than the variation norm and, combined with previous results, give the asymptotics of the $L^\infty$-metric entropy up to logarithmic factors in the case of the ReLU activation function.
• Abstract（参考訳）: 変動ノルムに対する浅層ニューラルネットワークの近似率について考察する。 これらの値の上限は、シグモダルおよびReLU活性化関数に対して確立されているが、これらの値が鋭いかどうかについては重要な未解決問題のままである。 本稿では、ニューラルネットワーク基底関数の凸包の$l^2$-metric entropyを低くすることで得られる、浅層ニューラルネットワークの近似率の鋭い下界を証明し、この問題に対する解を提供する。 さらに, 本手法は, この凸包のコルモゴロフ $n$-widths に対して鋭い下界を与えるため, 浅層ニューラルネットワークに対応する変動空間を線形法で効率的に近似することはできないことを示した。 これらの下界は、有界変動を持つシグモノイド活性化関数と、ReLUのパワーである活性化関数の両方に適用できる。 我々の結果は、バロンスペクトルノルムが変動ノルムよりもどれほど強いかを定量化し、以前の結果と合わせて、ReLUアクティベーション関数の場合の対数係数まで$L^\infty$-metric entropyの漸近を与える。

関連論文リスト

• Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
  本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。 近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T14:31:58Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• How do noise tails impact on deep ReLU networks? [2.5889847253961418]
  非パラメトリック回帰関数のクラスにおける最適収束速度が p, 滑らか度, 内在次元に依存することを示す。 我々はまた、深部ReLUニューラルネットワークの近似理論に関する新しい結果にも貢献する。
  論文  参考訳（メタデータ） (2022-03-20T00:27:32Z)
• Approximation bounds for norm constrained neural networks with applications to regression and GANs [9.645327615996914]
  本稿では,ReLUニューラルネットワークの近似誤差の上限値と下限値について,重みの基準値で検証する。 我々はこれらの近似境界を適用し、ノルム制約付きニューラルネットワークを用いて回帰の収束を分析し、GANによる分布推定を行う。
  論文  参考訳（メタデータ） (2022-01-24T02:19:05Z)
• Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
  本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。 我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
  論文  参考訳（メタデータ） (2021-09-18T05:56:06Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。