論文の概要: Uniform Approximation with Quadratic Neural Networks

• arxiv url: http://arxiv.org/abs/2201.03747v3
• Date: Sat, 09 Nov 2024 11:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:03:37.570473
• Title: Uniform Approximation with Quadratic Neural Networks
• Title（参考訳）: 二次ニューラルネットワークを用いた一様近似
• Authors: Ahmed Abdeljawad,
• Abstract要約: ReQUを活性化したディープニューラルネットワークは、(R)-H'older-regular関数内の任意の関数を近似することができることを示す。 結果は (pgeq 2) の形式 (max(0,x)p) の任意の Rectified Power Unit (RePU) 活性化関数に簡単に一般化できる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this work, we examine the approximation capabilities of deep neural networks utilizing the Rectified Quadratic Unit (ReQU) activation function, defined as \(\max(0,x)^2\), for approximating H\"older-regular functions with respect to the uniform norm. We constructively prove that deep neural networks with ReQU activation can approximate any function within the \(R\)-ball of \(r\)-H\"older-regular functions (\(\mathcal{H}^{r, R}([-1,1]^d)\)) up to any accuracy \(\epsilon \) with at most \(\mathcal{O}\left(\epsilon^{-d /2r}\right)\) neurons and fixed number of layers. This result highlights that the effectiveness of the approximation depends significantly on the smoothness of the target function and the characteristics of the ReQU activation function. Our proof is based on approximating local Taylor expansions with deep ReQU neural networks, demonstrating their ability to capture the behavior of H\"older-regular functions effectively. Furthermore, the results can be straightforwardly generalized to any Rectified Power Unit (RePU) activation function of the form \(\max(0,x)^p\) for \(p \geq 2\), indicating the broader applicability of our findings within this family of activations.
• Abstract（参考訳）: 本研究では,一様ノルムに対するH\"古い正規関数を近似するために,Rectified Quadratic Unit (ReQU) アクティベーション関数 \(\max(0,x)^2\) を用いたディープニューラルネットワークの近似能力について検討する。 我々は、ReQU を活性化したディープニューラルネットワークが、任意の精度 \(\epsilon \) まで、少なくとも \(\mathcal{O}\left(\epsilon^{-d /2r}\right)\) ニューロンと固定数の層で、 \(r\)-H\'older-regular function (\(\mathcal{H}^{r, R}([-1,1]^d)\)) の \(R\)-ball 内の任意の関数を近似できることを建設的に証明する。 その結果, 近似の有効性は, 対象関数の滑らかさとReQU活性化関数の特性に大きく依存することがわかった。 我々の証明は、局所テイラー展開を深部ReQUニューラルネットワークで近似し、H\"古い正規関数の振る舞いを効果的に捉える能力を実証することに基づいている。 さらに、この活性化系内での我々の発見の広範な適用性を示すために、結果は、 \(p \geq 2\) に対して \(\max(0,x)^p\) という形の任意の Rectified Power Unit (RePU) 活性化関数に直接一般化することができる。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
  ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。 逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。 ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
  論文  参考訳（メタデータ） (2024-03-18T18:58:23Z)
• Approximation and interpolation of deep neural networks [0.0]
  過度にパラメータ化された状態において、ディープニューラルネットワークは普遍的な近似を提供し、任意のデータセットを補間することができる。 最後の節では、活性化関数の一般的な条件下でそのような点を見つけるための実用的な確率的方法を提案する。
  論文  参考訳（メタデータ） (2023-04-20T08:45:16Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
  本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。 さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
  論文  参考訳（メタデータ） (2023-04-10T08:10:11Z)
• Function Approximation with Randomly Initialized Neural Networks for Approximate Model Reference Adaptive Control [0.0]
  近年の研究では、ReLUのような特殊活性化関数に対して、ランダムなアクティベーションの線形結合によって高い精度が得られることが示されている。 本稿では, 直接積分表現が知られていないアクティベーションを用いて, 対象関数の積分表現を形成する手段を提供する。
  論文  参考訳（メタデータ） (2023-03-28T18:55:48Z)
• Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks [3.222802562733787]
  本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。 いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T17:29:19Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。