論文の概要: A general approximation lower bound in $L^p$ norm, with applications to feed-forward neural networks

• arxiv url: http://arxiv.org/abs/2206.04360v1
• Date: Thu, 9 Jun 2022 09:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 14:13:26.023982
• Title: A general approximation lower bound in $L^p$ norm, with applications to feed-forward neural networks
• Title（参考訳）: l^p$ノルムにおける一般近似下限とフィードフォワードニューラルネットワークへの応用
• Authors: El Mehdi Achour (IMT), Armand Foucault (IMT), S\'ebastien Gerchinovitz (IMT), Fran\c{c}ois Malgouyres (IMT)
• Abstract要約: ニューラルネットワークの表現力に対する基本的な限界について検討する。 まず最初に、$F$ の函数が $Lp(mu)$ ノルムでどれだけよく近似できるかの一般的な下界を証明します。 すると、これを$G$が多項式フィードフォワードニューラルネットワークに対応するケースに初期化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the fundamental limits to the expressive power of neural networks. Given two sets $F$, $G$ of real-valued functions, we first prove a general lower bound on how well functions in $F$ can be approximated in $L^p(\mu)$ norm by functions in $G$, for any $p \geq 1$ and any probability measure $\mu$. The lower bound depends on the packing number of $F$, the range of $F$, and the fat-shattering dimension of $G$. We then instantiate this bound to the case where $G$ corresponds to a piecewise-polynomial feed-forward neural network, and describe in details the application to two sets $F$: H{\"o}lder balls and multivariate monotonic functions. Beside matching (known or new) upper bounds up to log factors, our lower bounds shed some light on the similarities or differences between approximation in $L^p$ norm or in sup norm, solving an open question by DeVore et al. (2021). Our proof strategy differs from the sup norm case and uses a key probability result of Mendelson (2002).
• Abstract（参考訳）: ニューラルネットワークの表現力に対する基本的な限界について検討する。 実数値関数の 2 つの集合 $F$, $G$ が与えられたとき、まず、任意の $p \geq 1$ および任意の確率測度 $\mu$ に対して、$F$ の函数が $L^p(\mu)$ のノルムでどれだけうまく近似できるかの一般的な下界を証明する。 下限は F$ の包装数、$F$ の範囲、および Fat-shattering dimension の$G$ に依存する。 すると、この境界は、$G$が断片的な多項式フィードフォワードニューラルネットワークに対応する場合に対応し、その応用を2つの集合 $F$: H{\"o}lder 球と多変量単調関数に詳細に記述する。 整合(既知のか新しいか)の上界の対数係数のほかに、下界は$L^p$ノルムやsupノルムにおける近似の類似性や相違に光を当て、DeVoreらによる開問題(2021年)を解いた。 我々の証明戦略はsupノルムの場合と異なり、Mendelson (2002) の重要な確率結果を使用する。

関連論文リスト

• Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [4.096453902709292]
  我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。 例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
  論文  参考訳（メタデータ） (2024-08-20T16:43:45Z)
• Interplay between depth and width for interpolation in neural ODEs [0.0]
  それらの幅$p$と層遷移数$L$の相互作用について検討する。 高次元設定では、$p=O(N)$ニューロンが正確な制御を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-18T11:32:50Z)
• Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
  ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。 特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
  論文  参考訳（メタデータ） (2022-09-23T04:03:50Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Finite-Sample Maximum Likelihood Estimation of Location [16.44999338864628]
  固定$f$ の場合、最大類似度推定 (MLE) は infty$ に対して$n の極限で最適であることが知られている。 任意の$f$と$n$について、滑らかな$f$のフィッシャー情報に基づいて同様の理論を復元できることを示し、そこでは滑らかな半径が$n$で崩壊する。
  論文  参考訳（メタデータ） (2022-06-06T04:33:41Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Active Sampling for Linear Regression Beyond the $\ell_2$ Norm [70.49273459706546]
  対象ベクトルの少数のエントリのみを問合せすることを目的とした線形回帰のためのアクティブサンプリングアルゴリズムについて検討する。 我々はこの$d$への依存が対数的要因まで最適であることを示す。 また、損失関数に対して最初の全感度上界$O(dmax1,p/2log2 n)$を提供し、最大で$p$成長する。
  論文  参考訳（メタデータ） (2021-11-09T00:20:01Z)
• Improved Sample Complexity for Incremental Autonomous Exploration in MDPs [132.88757893161699]
  我々は $epsilon$-optimal 目標条件付きポリシーのセットを学び、$ L$ ステップ内で段階的に到達可能なすべての状態を達成します。 DisCoは、コストに敏感な最短経路問題に対して$epsilon/c_min$-optimalポリシーを返すことができる最初のアルゴリズムです。
  論文  参考訳（メタデータ） (2020-12-29T14:06:09Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)
• A closer look at the approximation capabilities of neural networks [6.09170287691728]
  1つの隠れた層を持つフィードフォワードニューラルネットワークは、任意の連続関数$f$を任意の近似しきい値$varepsilon$に近似することができる。 この均一な近似特性は、重量に強い条件が課せられているにもかかわらず、依然として維持されていることを示す。
  論文  参考訳（メタデータ） (2020-02-16T04:58:43Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。