論文の概要: Deep Learning in High Dimension: Neural Network Approximation of
Analytic Functions in $L^2(\mathbb{R}^d,\gamma_d)$
- arxiv url: http://arxiv.org/abs/2111.07080v1
- Date: Sat, 13 Nov 2021 09:54:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 17:43:07.266165
- Title: Deep Learning in High Dimension: Neural Network Approximation of
Analytic Functions in $L^2(\mathbb{R}^d,\gamma_d)$
- Title（参考訳）: 高次元深層学習:$l^2(\mathbb{r}^d,\gamma_d)$の解析関数のニューラルネットワーク近似
- Authors: Christoph Schwab and Jakob Zech
- Abstract要約: 解析関数 $f:mathbbRdtomathbbR$ の式率を $L2(mathbbRd,gamma_d)$ のノルムで証明する。
特に、整数 $kgeq 2$ に対する ReLU と ReLU$k$ のアクティベーションを考える。
対数ガウス確率場入力による楕円型PDEの応答面に対する深いReLU-NNの表現速度境界を証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For artificial deep neural networks, we prove expression rates for analytic
functions $f:\mathbb{R}^d\to\mathbb{R}$ in the norm of
$L^2(\mathbb{R}^d,\gamma_d)$ where $d\in {\mathbb{N}}\cup\{ \infty \}$. Here
$\gamma_d$ denotes the Gaussian product probability measure on $\mathbb{R}^d$.
We consider in particular ReLU and ReLU${}^k$ activations for integer $k\geq
2$. For $d\in\mathbb{N}$, we show exponential convergence rates in
$L^2(\mathbb{R}^d,\gamma_d)$. In case $d=\infty$, under suitable smoothness and
sparsity assumptions on $f:\mathbb{R}^{\mathbb{N}}\to\mathbb{R}$, with
$\gamma_\infty$ denoting an infinite (Gaussian) product measure on
$\mathbb{R}^{\mathbb{N}}$, we prove dimension-independent expression rate
bounds in the norm of $L^2(\mathbb{R}^{\mathbb{N}},\gamma_\infty)$. The rates
only depend on quantified holomorphy of (an analytic continuation of) the map
$f$ to a product of strips in $\mathbb{C}^d$. As an application, we prove
expression rate bounds of deep ReLU-NNs for response surfaces of elliptic PDEs
with log-Gaussian random field inputs.
- Abstract（参考訳）: 人工深層ニューラルネットワークでは、解析関数 $f:\mathbb{r}^d\to\mathbb{r}$ に対して、$l^2(\mathbb{r}^d,\gamma_d)$ ここで$d\in {\mathbb{n}}\cup\{ \infty \}$ のノルムで表現率を証明する。
ここで、$\gamma_d$ は $\mathbb{R}^d$ 上のガウス積確率測度を表す。
特に、整数 $k\geq 2$ に対する ReLU と ReLU${}^k$ の活性化を考える。
d\in\mathbb{n}$ の場合、指数収束率は$l^2(\mathbb{r}^d,\gamma_d)$である。
f:\mathbb{r}^{\mathbb{n}}\to\mathbb{r}$, with $\gamma_\infty$ denoting an infinite (gaussian) product measure on $\mathbb{r}^{\mathbb{n}}$, if $d=\infty$, under appropriate smoothness and sparsity assumptions on $f:\mathbb{r}^{\mathbb{n}}\to\mathbb{r}$, with $\gamma_\infty$ denoting a infinite (gausssian) product measure on $\mathbb{r}^{\mathbb{n}}$ では、次元に依存しない表現率境界を $l^2(\mathbb{r}^{\mathbb{n}},\gamma_\infty)$ のノルムで証明する。
速度は、$\mathbb{C}^d$ のストリップの積への写像 $f$ の(解析的連続の)定量化された正則性にのみ依存する。
対数ガウス確率場入力による楕円型PDEの応答面に対する深いReLU-NNの表現速度境界を証明した。
関連論文リスト
- Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Noncompact uniform universal approximation [0.0]
普遍近似定理は、(コンパクトでない)入力空間 $mathbbRn$ 上の一様収束に一般化される。
無限大で消えるすべての連続関数は、ニューラルネットワークによって一様に近似することができる。
論文 参考訳（メタデータ） (2023-08-07T08:54:21Z) - An Over-parameterized Exponential Regression [18.57735939471469]
LLM(Large Language Models)の分野での最近の発展は、指数的アクティベーション関数の使用への関心を喚起している。
ニューラル関数 $F: mathbbRd times m times mathbbRd times mathbbRd times mathbbRd times mathbbRd times mathbbRd times mathbbRd times mathbbRd times mathbbRdd
論文 参考訳（メタデータ） (2023-03-29T07:29:07Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Beyond Independent Measurements: General Compressed Sensing with GNN
Application [4.924126492174801]
我々は、ノイズコーン観測からmathbbRn$の構造化信号$mathbfxを復元する問題を考察する。
実効的な$mathbfB$は測定値のサロゲートとして用いられる可能性がある。
論文 参考訳（メタデータ） (2021-10-30T20:35:56Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - A Canonical Transform for Strengthening the Local $L^p$-Type Universal
Approximation Property [4.18804572788063]
任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。
本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
論文 参考訳（メタデータ） (2020-06-24T17:46:35Z) - Learning Theory for Estimation of Animal Motion Submanifolds [0.0]
本稿では,動物運動のサブ多様体モデルの推定と近似のための新しい手法の定式化と実験試験について述べる。
実験は、未知の確率密度に基づいて生成されるサンプルの有限集合 $(s_i,x_i)_i=1msubset mathbbZm$ を生成する。
論文 参考訳（メタデータ） (2020-03-30T20:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。