論文の概要: Noncompact uniform universal approximation
- arxiv url: http://arxiv.org/abs/2308.03812v1
- Date: Mon, 7 Aug 2023 08:54:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 15:35:50.721923
- Title: Noncompact uniform universal approximation
- Title（参考訳）: 非コンパクト一様普遍近似
- Authors: Teun D. H. van Nuland
- Abstract要約: 普遍近似定理は、(コンパクトでない)入力空間 $mathbb Rn$ 上の一様収束に一般化される。
無限大で消えるすべての連続関数は、$l$の隠蔽層と$n$の入力を持つニューラルネットワークによって一様近似することができる。
すべての$varphi$とすべての$lgeq2$, $overlinemathcalN_varphil(mathbb Rn)$に対して、点積の下で代数であることが分かる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The universal approximation theorem is generalised to uniform convergence on
the (noncompact) input space $\mathbb R^n$. All continuous functions that
vanish at infinity can be uniformly approximated by neural networks with one
hidden layer, for all continuous activation functions $\varphi\neq0$ with
asymptotically linear behaviour at $\pm\infty$. When $\varphi$ is moreover
bounded, we exactly determine which functions can be uniformly approximated by
neural networks, with the following unexpected results. Let
$\overline{\mathcal{N}_\varphi^l(\mathbb R^n)}$ denote the vector space of
functions that are uniformly approximable by neural networks with $l$ hidden
layers and $n$ inputs. For all $n$ and all $l\geq2$,
$\overline{\mathcal{N}_\varphi^l(\mathbb R^n)}$ turns out to be an algebra
under the pointwise product. If the left limit of $\varphi$ differs from its
right limit (for instance, when $\varphi$ is sigmoidal) the algebra
$\overline{\mathcal{N}_\varphi^l(\mathbb R^n)}$ ($l\geq2$) is independent of
$\varphi$ and $l$, and equals the closed span of products of sigmoids composed
with one-dimensional projections. If the left limit of $\varphi$ equals its
right limit, $\overline{\mathcal{N}_\varphi^l(\mathbb R^n)}$ ($l\geq1$) equals
the (real part of the) commutative resolvent algebra, a C*-algebra which is
used in mathematical approaches to quantum theory. In the latter case, the
algebra is independent of $l\geq1$, whereas in the former case
$\overline{\mathcal{N}_\varphi^2(\mathbb R^n)}$ is strictly bigger than
$\overline{\mathcal{N}_\varphi^1(\mathbb R^n)}$.
- Abstract（参考訳）: 普遍近似定理は(非コンパクト)入力空間 $\mathbb r^n$ 上の一様収束として一般化される。
無限大で消えるすべての連続函数は、すべての連続活性化関数 $\varphi\neq0$ に対して、1つの隠れた層を持つニューラルネットワークによって一様近似することができる。
さらに$\varphi$が有界である場合、ニューラルネットワークによってどの関数を均一に近似できるかを正確に決定する。
$\overline{\mathcal{N}_\varphi^l(\mathbb R^n)}$ は、$l$隠れ層と$n$入力を持つニューラルネットワークで一様近似可能な関数のベクトル空間を表す。
すべての$n$とすべての$l\geq2$, $\overline{\mathcal{N}_\varphi^l(\mathbb R^n)}$に対して、点積の下で代数であることが分かる。
もし$\varphi$ の左極限が右極限(例えば $\varphi$ が sigmoidal であるとき)と異なる場合、代数 $\overline{\mathcal{n}_\varphi^l(\mathbb r^n)}$ (l\geq2$) は$\varphi$ と $l$ とは独立であり、一次元射影からなるsigmoids の積の閉域に等しい。
もし$\varphi$ の左極限がその右極限に等しいなら、$\overline{\mathcal{n}_\varphi^l(\mathbb r^n)}$ (l\geq1$) は(実部分)可換解決代数(英語版)(c*-代数)と等しい。
後者の場合、代数は$l\geq1$とは独立であるが、前者は$\overline{\mathcal{N}_\varphi^2(\mathbb R^n)}$は$\overline{\mathcal{N}_\varphi^1(\mathbb R^n)}$より厳密に大きい。
関連論文リスト
- The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳（メタデータ） (2024-10-26T06:21:42Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Dimension-free Remez Inequalities and norm designs [48.5897526636987]
ドメインのクラスが$X$で、テストセットが$Y$で、Emphnormと呼ばれ、次元のないRemez型の見積もりを楽しむ。
ポリトーラスに$f$が拡張されたとき、$f$の上限は$mathcalO(log K)2d$以上増加しないことを示す。
論文 参考訳（メタデータ） (2023-10-11T22:46:09Z) - The Approximate Degree of DNF and CNF Formulas [95.94432031144716]
すべての$delta>0に対して、$はCNFと近似次数$Omega(n1-delta)の式を構築し、基本的には$nの自明な上限に一致する。
すべての$delta>0$に対して、これらのモデルは$Omega(n1-delta)$、$Omega(n/4kk2)1-delta$、$Omega(n/4kk2)1-delta$が必要です。
論文 参考訳（メタデータ） (2022-09-04T10:01:39Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - On Outer Bi-Lipschitz Extensions of Linear Johnson-Lindenstrauss
Embeddings of Low-Dimensional Submanifolds of $\mathbb{R}^N$ [0.24366811507669117]
$mathcalM$ を $mathbbRN$ のコンパクト $d$-次元部分多様体とし、リーチ $tau$ とボリューム $V_mathcal M$ とする。
非線形関数 $f: mathbbRN rightarrow mathbbRmm が存在し、$m leq C left(d / epsilon2right) log left(fracsqrt[d]V_math が存在することを証明します。
論文 参考訳（メタデータ） (2022-06-07T15:10:46Z) - Deep Learning in High Dimension: Neural Network Approximation of
Analytic Functions in $L^2(\mathbb{R}^d,\gamma_d)$ [0.0]
解析関数 $f:mathbbRdtomathbbR$ の式率を $L2(mathbbRd,gamma_d)$ のノルムで証明する。
特に、整数 $kgeq 2$ に対する ReLU と ReLU$k$ のアクティベーションを考える。
対数ガウス確率場入力による楕円型PDEの応答面に対する深いReLU-NNの表現速度境界を証明した。
論文 参考訳（メタデータ） (2021-11-13T09:54:32Z) - Linear Bandits on Uniformly Convex Sets [88.3673525964507]
線形バンディットアルゴリズムはコンパクト凸作用集合上の $tildemathcalo(nsqrtt)$ pseudo-regret 境界を与える。
2種類の構造的仮定は、より良い擬似回帰境界をもたらす。
論文 参考訳（メタデータ） (2021-03-10T07:33:03Z) - Algorithms and Hardness for Linear Algebra on Geometric Graphs [14.822517769254352]
グリーンガードとロークリンの有名な高速多重極法における次元$dの指数的依存は改善できないことを示す。
これは高速多重極法について証明された最初の公式な制限である。
論文 参考訳（メタデータ） (2020-11-04T18:35:02Z) - A Canonical Transform for Strengthening the Local $L^p$-Type Universal
Approximation Property [4.18804572788063]
任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。
本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
論文 参考訳（メタデータ） (2020-06-24T17:46:35Z) - A closer look at the approximation capabilities of neural networks [6.09170287691728]
1つの隠れた層を持つフィードフォワードニューラルネットワークは、任意の連続関数$f$を任意の近似しきい値$varepsilon$に近似することができる。
この均一な近似特性は、重量に強い条件が課せられているにもかかわらず、依然として維持されていることを示す。
論文 参考訳（メタデータ） (2020-02-16T04:58:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。