論文の概要: Uniform Approximation with Quadratic Neural Networks

• arxiv url: http://arxiv.org/abs/2201.03747v3
• Date: Sat, 09 Nov 2024 11:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:03:37.570473
• Title: Uniform Approximation with Quadratic Neural Networks
• Title（参考訳）: 二次ニューラルネットワークを用いた一様近似
• Authors: Ahmed Abdeljawad,
• Abstract要約: ReQUを活性化したディープニューラルネットワークは、(R)-H'older-regular関数内の任意の関数を近似することができることを示す。 結果は (pgeq 2) の形式 (max(0,x)p) の任意の Rectified Power Unit (RePU) 活性化関数に簡単に一般化できる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this work, we examine the approximation capabilities of deep neural networks utilizing the Rectified Quadratic Unit (ReQU) activation function, defined as \(\max(0,x)^2\), for approximating H\"older-regular functions with respect to the uniform norm. We constructively prove that deep neural networks with ReQU activation can approximate any function within the \(R\)-ball of \(r\)-H\"older-regular functions (\(\mathcal{H}^{r, R}([-1,1]^d)\)) up to any accuracy \(\epsilon \) with at most \(\mathcal{O}\left(\epsilon^{-d /2r}\right)\) neurons and fixed number of layers. This result highlights that the effectiveness of the approximation depends significantly on the smoothness of the target function and the characteristics of the ReQU activation function. Our proof is based on approximating local Taylor expansions with deep ReQU neural networks, demonstrating their ability to capture the behavior of H\"older-regular functions effectively. Furthermore, the results can be straightforwardly generalized to any Rectified Power Unit (RePU) activation function of the form \(\max(0,x)^p\) for \(p \geq 2\), indicating the broader applicability of our findings within this family of activations.
• Abstract（参考訳）: 本研究では,一様ノルムに対するH\"古い正規関数を近似するために,Rectified Quadratic Unit (ReQU) アクティベーション関数 \(\max(0,x)^2\) を用いたディープニューラルネットワークの近似能力について検討する。 我々は、ReQU を活性化したディープニューラルネットワークが、任意の精度 \(\epsilon \) まで、少なくとも \(\mathcal{O}\left(\epsilon^{-d /2r}\right)\) ニューロンと固定数の層で、 \(r\)-H\'older-regular function (\(\mathcal{H}^{r, R}([-1,1]^d)\)) の \(R\)-ball 内の任意の関数を近似できることを建設的に証明する。 その結果, 近似の有効性は, 対象関数の滑らかさとReQU活性化関数の特性に大きく依存することがわかった。 我々の証明は、局所テイラー展開を深部ReQUニューラルネットワークで近似し、H\"古い正規関数の振る舞いを効果的に捉える能力を実証することに基づいている。 さらに、この活性化系内での我々の発見の広範な適用性を示すために、結果は、 \(p \geq 2\) に対して \(\max(0,x)^p\) という形の任意の Rectified Power Unit (RePU) 活性化関数に直接一般化することができる。

関連論文リスト

• On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains [10.360517127652185]
  一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。 この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
  論文  参考訳（メタデータ） (2023-05-04T08:54:40Z)
• Points of non-linearity of functions generated by random neural networks [0.0]
  1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。 非線型性の点の期待分布を計算する。
  論文  参考訳（メタデータ） (2023-04-19T17:40:19Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations [2.15145758970292]
  我々は、H'olderノルムの所定の近似誤差まで、任意のH'older滑らかな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。 後者の機能は、多くの統計および機械学習アプリケーションにおける一般化エラーを制御するために不可欠である。
  論文  参考訳（メタデータ） (2022-06-20T01:18:29Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• On the approximation of functions by tanh neural networks [0.0]
  我々は、ソボレフ規則の近似で生じる高階ソボレフノルムにおける誤差の境界を導出する。 2つの隠れ層しか持たないtanhニューラルネットワークは、より深いreluニューラルネットワークよりも、同等あるいはそれ以上の速度で近似関数に十分であることを示す。
  論文  参考訳（メタデータ） (2021-04-18T19:30:45Z)
• The Representation Power of Neural Networks: Breaking the Curse of Dimensionality [0.0]
  浅層および深層ニューラルネットワークの量に対する上限を証明します。 我々はさらに、これらの境界がコロボフ函数を近似するために必要となる連続関数近似器の最小パラメータ数にほぼ一致することを証明した。
  論文  参考訳（メタデータ） (2020-12-10T04:44:07Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。