論文の概要: A Canonical Transform for Strengthening the Local $L^p$-Type Universal
Approximation Property
- arxiv url: http://arxiv.org/abs/2006.14378v3
- Date: Wed, 9 Jun 2021 10:55:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 08:58:05.011570
- Title: A Canonical Transform for Strengthening the Local $L^p$-Type Universal
Approximation Property
- Title（参考訳）: 局所$L^p$-型普遍近似特性強化のための標準変換
- Authors: Anastasis Kratsios, Behnoosh Zamanlooy
- Abstract要約: 任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。
本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
- 参考スコア（独自算出の注目度）: 4.18804572788063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most $L^p$-type universal approximation theorems guarantee that a given
machine learning model class $\mathscr{F}\subseteq
C(\mathbb{R}^d,\mathbb{R}^D)$ is dense in
$L^p_{\mu}(\mathbb{R}^d,\mathbb{R}^D)$ for any suitable finite Borel measure
$\mu$ on $\mathbb{R}^d$. Unfortunately, this means that the model's
approximation quality can rapidly degenerate outside some compact subset of
$\mathbb{R}^d$, as any such measure is largely concentrated on some bounded
subset of $\mathbb{R}^d$. This paper proposes a generic solution to this
approximation theoretic problem by introducing a canonical transformation which
"upgrades $\mathscr{F}$'s approximation property" in the following sense. The
transformed model class, denoted by $\mathscr{F}\text{-tope}$, is shown to be
dense in $L^p_{\mu,\text{strict}}(\mathbb{R}^d,\mathbb{R}^D)$ which is a
topological space whose elements are locally $p$-integrable functions and whose
topology is much finer than usual norm topology on
$L^p_{\mu}(\mathbb{R}^d,\mathbb{R}^D)$; here $\mu$ is any suitable
$\sigma$-finite Borel measure $\mu$ on $\mathbb{R}^d$. Next, we show that if
$\mathscr{F}$ is any family of analytic functions then there is always a strict
"gap" between $\mathscr{F}\text{-tope}$'s expressibility and that of
$\mathscr{F}$, since we find that $\mathscr{F}$ can never dense in
$L^p_{\mu,\text{strict}}(\mathbb{R}^d,\mathbb{R}^D)$. In the general case,
where $\mathscr{F}$ may contain non-analytic functions, we provide an abstract
form of these results guaranteeing that there always exists some function space
in which $\mathscr{F}\text{-tope}$ is dense but $\mathscr{F}$ is not, while,
the converse is never possible. Applications to feedforward networks,
convolutional neural networks, and polynomial bases are explored.
- Abstract（参考訳）: 多くの l^p$-型普遍近似定理は、与えられた機械学習モデルクラス $\mathscr{f}\subseteq c(\mathbb{r}^d,\mathbb{r}^d)$ が、任意の適当な有限ボレル測度 $\mu$ on $\mathbb{r}^d$ に対して$l^p_{\mu}(\mathbb{r}^d,\mathbb{r}^d)$ であることを保証している。
残念なことに、これはモデルの近似品質が $\mathbb{R}^d$ のコンパクト部分集合の外で急速に退化できることを意味し、そのような測度は $\mathbb{R}^d$ の有界部分集合に大きく集中している。
本稿では,この近似理論問題に対する一般解として,次の意味で "$\mathscr{f}$'s approximation property" を格付けする正準変換を導入することを提案する。
変換されたモデルクラスは、$\mathscr{F}\text{-tope}$で表されるが、$L^p_{\mu,\text{strict}}(\mathbb{R}^d,\mathbb{R}^D)$ は局所的に$p$可積分函数であり、通常のノルム位相よりもはるかに細かい位相空間であるような位相空間であり、$L^p_{\mu}(\mathbb{R}^d,\mathbb{R}^D)$ である。
次に、$\mathscr{F}$ が解析関数の族であれば、$\mathscr{F}\text{-tope}$ と $\mathscr{F}$ の間には常に厳密な "ギャップ" が存在することを示す。
一般の場合、$\mathscr{f}$ が非解析関数を含むかもしれない場合、これらの結果の抽象形式を提供し、$\mathscr{f}\text{-tope}$ が密であるが$\mathscr{f}$ が成立しないような関数空間が常に存在することを保証する。
フィードフォワードネットワーク、畳み込みニューラルネットワーク、多項式ベースへの応用について検討する。
関連論文リスト
- Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Noncompact uniform universal approximation [0.0]
普遍近似定理は、(コンパクトでない)入力空間 $mathbbRn$ 上の一様収束に一般化される。
無限大で消えるすべての連続関数は、ニューラルネットワークによって一様に近似することができる。
論文 参考訳（メタデータ） (2023-08-07T08:54:21Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - On Outer Bi-Lipschitz Extensions of Linear Johnson-Lindenstrauss
Embeddings of Low-Dimensional Submanifolds of $\mathbb{R}^N$ [0.24366811507669117]
$mathcalM$ を $mathbbRN$ のコンパクト $d$-次元部分多様体とし、リーチ $tau$ とボリューム $V_mathcal M$ とする。
非線形関数 $f: mathbbRN rightarrow mathbbRmm が存在し、$m leq C left(d / epsilon2right) log left(fracsqrt[d]V_math が存在することを証明します。
論文 参考訳（メタデータ） (2022-06-07T15:10:46Z) - Low-degree learning and the metric entropy of polynomials [49.1574468325115]
少なくとも$Omega(sqrtvarepsilon)2dlog n leq log mathsfM(mathscrF_n,d,|cdot|_L,varepsilon)は2辺の推定値$c(1-varepsilon)2dlogを満たす。
論文 参考訳（メタデータ） (2022-03-17T23:52:08Z) - Local approximation of operators [0.0]
距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。
例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
論文 参考訳（メタデータ） (2022-02-13T19:28:34Z) - Metric Hypertransformers are Universal Adapted Maps [4.83420384410068]
メートル法ハイパートランスフォーマー(MHT)は、任意の適応マップを近似可能な複雑性で、$F:mathscrXmathbbZrightarrow数学scrYmathbbZ$を近似することができる。
我々の結果は、そのような$mathscrX$ および $mathscrY$ と互換性のある最初の(近似的な)普遍近似定理を提供する。
論文 参考訳（メタデータ） (2022-01-31T10:03:46Z) - Deep Learning in High Dimension: Neural Network Approximation of
Analytic Functions in $L^2(\mathbb{R}^d,\gamma_d)$ [0.0]
解析関数 $f:mathbbRdtomathbbR$ の式率を $L2(mathbbRd,gamma_d)$ のノルムで証明する。
特に、整数 $kgeq 2$ に対する ReLU と ReLU$k$ のアクティベーションを考える。
対数ガウス確率場入力による楕円型PDEの応答面に対する深いReLU-NNの表現速度境界を証明した。
論文 参考訳（メタデータ） (2021-11-13T09:54:32Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。