論文の概要: Optimal approximation of $C^k$-functions using shallow complex-valued
neural networks
- arxiv url: http://arxiv.org/abs/2303.16813v1
- Date: Wed, 29 Mar 2023 15:56:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 14:02:54.260127
- Title: Optimal approximation of $C^k$-functions using shallow complex-valued
neural networks
- Title（参考訳）: 浅い複素数値ニューラルネットワークを用いた$C^k$関数の最適近似
- Authors: Paul Geuchen, Felix Voigtlaender
- Abstract要約: 隠れた1つの層と$m$のニューロンを持つニューラルネットワークについて検討する。
mathbbCn$ における重み $sigma_j, b_j と mathbbCn$ における $rho_j の選択は、$f$ に関して連続であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove a quantitative result for the approximation of functions of
regularity $C^k$ (in the sense of real variables) defined on the complex cube
$\Omega_n := [-1,1]^n +i[-1,1]^n\subseteq \mathbb{C}^n$ using shallow
complex-valued neural networks. Precisely, we consider neural networks with a
single hidden layer and $m$ neurons, i.e., networks of the form $z \mapsto
\sum_{j=1}^m \sigma_j \cdot \phi\big(\rho_j^T z + b_j\big)$ and show that one
can approximate every function in $C^k \left( \Omega_n; \mathbb{C}\right)$
using a function of that form with error of the order $m^{-k/(2n)}$ as $m \to
\infty$, provided that the activation function $\phi: \mathbb{C} \to
\mathbb{C}$ is smooth but not polyharmonic on some non-empty open set.
Furthermore, we show that the selection of the weights $\sigma_j, b_j \in
\mathbb{C}$ and $\rho_j \in \mathbb{C}^n$ is continuous with respect to $f$ and
prove that the derived rate of approximation is optimal under this continuity
assumption. We also discuss the optimality of the result for a possibly
discontinuous choice of the weights.
- Abstract（参考訳）: 複素立方体 $\omega_n := [-1,1]^n +i[-1,1]^n\subseteq \mathbb{c}^n$ 上で定義される正則性 $c^k$(実変数という意味で)の近似の定量的な結果を示す。
正確には、1つの隠れた層と$m$のニューロンを持つニューラルネットワーク、すなわち $z \mapsto \sum_{j=1}^m \sigma_j \cdot \phi\big(\rho_j^T z + b_j\big)$ の形のネットワークを考えると、$C^k \left( \Omega_n; \mathbb{C}\right)$ の全ての関数が$m^{-k/(2n)} の順序の誤差を持つ形式の関数を使用することを示す。
さらに、重み $\sigma_j, b_j \in \mathbb{C}$ と $\rho_j \in \mathbb{C}^n$ の選択が$f$ に対して連続であることを示し、この連続性仮定の下で近似の導出率が最適であることを証明する。
また、重量の不連続な選択に対する結果の最適性についても論じる。
関連論文リスト
- Optimal Neural Network Approximation for High-Dimensional Continuous Functions [5.748690310135373]
我々は、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$固有のニューロンを必要とする連続関数の族を示す。
これは、$mathcalO(d)$内在ニューロンの要求が、入力次元$d$と線形に成長するという意味で最適であることを示している。
論文 参考訳（メタデータ） (2024-09-04T01:18:55Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。
さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
論文 参考訳（メタデータ） (2023-04-10T08:10:11Z) - Neural Network Approximation of Continuous Functions in High Dimensions
with Applications to Inverse Problems [6.84380898679299]
現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。
ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
論文 参考訳（メタデータ） (2022-08-28T22:44:07Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z) - Reinforcement Learning with General Value Function Approximation:
Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。
我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。
我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
論文 参考訳（メタデータ） (2020-05-21T17:36:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。