論文の概要: Approximation Rates of Shallow Neural Networks: Barron Spaces, Activation Functions and Optimality Analysis
- arxiv url: http://arxiv.org/abs/2510.18388v1
- Date: Tue, 21 Oct 2025 08:08:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:13.144914
- Title: Approximation Rates of Shallow Neural Networks: Barron Spaces, Activation Functions and Optimality Analysis
- Title（参考訳）: 浅層ニューラルネットワークの近似速度:バロン空間、活性化関数、最適解析
- Authors: Jian Lu, Xiaohuang Huang,
- Abstract要約: これは、近似速度の次元への依存性と、バロン函数空間内で近似される函数の滑らかさに焦点をあてる。
我々は、バロン空間やソボレフ空間における関数の様々なノルムにおける最適近似率を確立し、次元性の呪いを確認する。
- 参考スコア（独自算出の注目度）: 7.106210679849991
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the approximation properties of shallow neural networks with activation functions that are powers of exponential functions. It focuses on the dependence of the approximation rate on the dimension and the smoothness of the function being approximated within the Barron function space. We examine the approximation rates of ReLU$^{k}$ activation functions, proving that the optimal rate cannot be achieved under $\ell^{1}$-bounded coefficients or insufficient smoothness conditions. We also establish optimal approximation rates in various norms for functions in Barron spaces and Sobolev spaces, confirming the curse of dimensionality. Our results clarify the limits of shallow neural networks' approximation capabilities and offer insights into the selection of activation functions and network structures.
- Abstract（参考訳）: 本稿では,指数関数のパワーである活性化関数を持つ浅部ニューラルネットワークの近似特性について検討する。
これは、近似速度の次元への依存性と、バロン函数空間内で近似される函数の滑らかさに焦点をあてる。
ReLU$^{k}$アクティベーション関数の近似速度について検討し、$\ell^{1}$-bounded coefficientや不十分な滑らかさ条件の下で最適速度が達成できないことを示す。
また、バロン空間やソボレフ空間における関数の様々なノルムにおける最適近似率を確立し、次元性の呪いを確認する。
その結果,浅部ニューラルネットワークの近似能力の限界を明らかにし,活性化関数とネットワーク構造の選択に関する洞察を提供する。
関連論文リスト
- Provable wavelet-based neural approximation [0.0]
ニューラルネットワークの普遍近似能力を解析するためのウェーブレットに基づく理論フレームワークを開発した。
活性化関数に関する十分な条件を導出し、関連するニューラルネットワークが与えられた空間内の任意の関数を誤差推定と共に近似することを保証する。
論文 参考訳（メタデータ） (2025-04-23T13:02:37Z) - Approximation properties of neural ODEs [5.828989070109041]
連続関数空間における浅部ニューラルネットワークの普遍近似特性(UAP)を証明した。
特に、ニューラルネットワークODEのフローマップのリプシッツ定数と重みのノルムを制約し、ネットワークの安定性を高める。
論文 参考訳（メタデータ） (2025-03-19T21:11:28Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Approximation and interpolation of deep neural networks [0.0]
過度にパラメータ化された状態において、ディープニューラルネットワークは普遍的な近似を提供し、任意のデータセットを補間することができる。
最後の節では、活性化関数の一般的な条件下でそのような点を見つけるための実用的な確率的方法を提案する。
論文 参考訳（メタデータ） (2023-04-20T08:45:16Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Optimal Approximation Complexity of High-Dimensional Functions with
Neural Networks [3.222802562733787]
本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。
いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
論文 参考訳（メタデータ） (2023-01-30T17:29:19Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Approximation with Neural Networks in Variable Lebesgue Spaces [1.0152838128195465]
本稿では、可変ルベーグ空間におけるニューラルネットワークによる普遍近似特性について述べる。
空間の指数関数が有界となると、任意の所望の精度で全ての関数を浅いニューラルネットワークで近似できることを示す。
論文 参考訳（メタデータ） (2020-07-08T14:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。