論文の概要: Nonlocal techniques for the analysis of deep ReLU neural network approximations

• arxiv url: http://arxiv.org/abs/2504.04847v1
• Date: Mon, 07 Apr 2025 09:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:08:47.232532
• Title: Nonlocal techniques for the analysis of deep ReLU neural network approximations
• Title（参考訳）: 深部ReLUニューラルネットワーク近似解析のための非局所的手法
• Authors: Cornelia Schneider, Mario Ullrich, Jan Vybiral,
• Abstract要約: 最近、Daubechies, DeVore, Foucart, Hanin, Petrova は、ピースワイド線型関数の体系を導入した。 このシステムは、ソボレフ空間やバロン類に対してもリース基底として機能することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recently, Daubechies, DeVore, Foucart, Hanin, and Petrova introduced a system of piece-wise linear functions, which can be easily reproduced by artificial neural networks with the ReLU activation function and which form a Riesz basis of $L_2([0,1])$. This work was generalized by two of the authors to the multivariate setting. We show that this system serves as a Riesz basis also for Sobolev spaces $W^s([0,1]^d)$ and Barron classes ${\mathbb B}^s([0,1]^d)$ with smoothness $0<s<1$. We apply this fact to re-prove some recent results on the approximation of functions from these classes by deep neural networks. Our proof method avoids using local approximations and allows us to track also the implicit constants as well as to show that we can avoid the curse of dimension. Moreover, we also study how well one can approximate Sobolev and Barron functions by ANNs if only function values are known.
• Abstract（参考訳）: 最近では、Dubechies, DeVore, Foucart, Hanin, Petrova が、ReLUアクティベーション関数を持つ人工ニューラルネットワークで容易に再現でき、Riesz ベースが$L_2([0,1])$である断片線形関数のシステムを導入している。 この研究は2人の著者によって多変量設定に一般化された。 このシステムは、ソボレフ空間 $W^s([0,1]^d)$ およびバロン類 ${\mathbb B}^s([0,1]^d)$ の滑らか度 $0<s<1$ に対してもリース基底として機能することを示す。 この事実を応用して、深層ニューラルネットワークによるこれらのクラスからの関数の近似に関する最近の結果を再検証する。 我々の証明法は局所近似を回避し、暗黙の定数も追跡でき、次元の呪いを避けることができることを示す。 さらに,関数値のみを知っていれば,ANNによるソボレフ関数とバロン関数の近似がいかに優れているかについても検討する。

関連論文リスト

• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks [2.4112990554464235]
  我々は、$mathcalO((WL)-2s/d)$が実際にソボレフ埋め込み条件の下で成り立つことを示す。 我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。
  論文  参考訳（メタデータ） (2024-09-02T02:26:01Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Efficient uniform approximation using Random Vector Functional Link networks [0.0]
  ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内部ノードとバイアスを持つディープ2ニューラルネットワークである。 本稿では、ReLUアクティベートされたRVFLがLipschitzターゲット関数を近似できることを示す。 我々の証明法は理論と調和解析に根ざしている。
  論文  参考訳（メタデータ） (2023-06-30T09:25:03Z)
• Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces [2.7195102129095003]
  ReLU活性化関数を持つディープニューラルネットワークは、ソボレフ空間$Ws(L_q(Omega))$とBesov空間$Bs_r(L_q(Omega))$の関数を近似することができる。 この問題は、様々な分野におけるニューラルネットワークの適用を研究する際に重要である。
  論文  参考訳（メタデータ） (2022-11-25T23:32:26Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Expressive power of binary and ternary neural networks [91.3755431537592]
  3次重みを持つ深いスパースReLUネットワークと2次重みを持つ深いReLUネットワークは、[0,1]d$上の$beta$-H"古い関数を近似できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:16:08Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Nonclosedness of Sets of Neural Networks in Sobolev Spaces [0.0]
  実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。 実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
  論文  参考訳（メタデータ） (2020-07-23T00:57:25Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。