Fugu-MT 論文翻訳(概要): New advances in universal approximation with neural networks of minimal width

論文の概要: New advances in universal approximation with neural networks of minimal width

arxiv url: http://arxiv.org/abs/2411.08735v1
Date: Wed, 13 Nov 2024 16:17:16 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-14 16:11:39.034652
Title: New advances in universal approximation with neural networks of minimal width
Title（参考訳）: 最小幅のニューラルネットワークを用いた普遍近似の新展開
Authors: Dennis Rochau, Hanno Gottschalk, Robin Chan,
Abstract要約: リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
参考スコア（独自算出の注目度）: 4.424170214926035
License:
Abstract: Deep neural networks have achieved remarkable success in diverse applications, prompting the need for a solid theoretical foundation. Recent research has identified the minimal width $\max\{2,d_x,d_y\}$ required for neural networks with input dimensions $d_x$ and output dimension $d_y$ that use leaky ReLU activations to universally approximate $L^p(\mathbb{R}^{d_x},\mathbb{R}^{d_y})$ on compacta. Here, we present an alternative proof for the minimal width of such neural networks, by directly constructing approximating networks using a coding scheme that leverages the properties of leaky ReLUs and standard $L^p$ results. The obtained construction has a minimal interior dimension of $1$, independent of input and output dimensions, which allows us to show that autoencoders with leaky ReLU activations are universal approximators of $L^p$ functions. Furthermore, we demonstrate that the normalizing flow LU-Net serves as a distributional universal approximator. We broaden our results to show that smooth invertible neural networks can approximate $L^p(\mathbb{R}^{d},\mathbb{R}^{d})$ on compacta when the dimension $d\geq 2$, which provides a constructive proof of a classical theorem of Brenier and Gangbo. In addition, we use a topological argument to establish that for FNNs with monotone Lipschitz continuous activations, $d_x+1$ is a lower bound on the minimal width required for the uniform universal approximation of continuous functions $C^0(\mathbb{R}^{d_x},\mathbb{R}^{d_y})$ on compacta when $d_x\geq d_y$.
Abstract（参考訳）: ディープニューラルネットワークは多様な応用において顕著な成功を収めており、しっかりとした理論基盤の必要性を喚起している。最近の研究では、入力次元が $d_x$ で出力次元が $d_y$ のニューラルネットワークに必要となる最小幅 $\max\{2,d_x,d_y\}$ が特定されている。本稿では、漏洩したReLUの特性と標準の$L^p$結果を利用する符号化方式を用いて、ニューラルネットワークの最小幅について、直接近似ネットワークを構築した。得られた構成は、入力と出力の次元によらず、最小内部次元が1ドルで、ReLUアクティベーションが漏れたオートエンコーダが$L^p$関数の普遍近似器であることを示せる。さらに,正規化フローLU-Netは分布普遍近似器として機能することを示した。我々は、スムーズな可逆ニューラルネットワークが、次元$d\geq 2$のときにコンパクトな上で$L^p(\mathbb{R}^{d},\mathbb{R}^{d})$を近似できることを示す。さらに、単調リプシッツ連続活性化を持つ FNN に対して、$d_x+1$ は、連続函数 $C^0(\mathbb{R}^{d_x},\mathbb{R}^{d_y})$ の一様普遍近似に必要な最小幅上の下界である。

関連論文リスト

Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文参考訳（メタデータ） (2024-09-10T14:31:21Z)
Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文参考訳（メタデータ） (2024-06-03T17:56:58Z)
Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文参考訳（メタデータ） (2023-11-23T02:19:32Z)
Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文参考訳（メタデータ） (2023-07-08T16:00:59Z)
Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文参考訳（メタデータ） (2023-06-26T17:13:31Z)
Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal Approximation [10.249623880822055]
本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
論文参考訳（メタデータ） (2023-05-29T06:51:16Z)
Minimal Width for Universal Property of Deep RNN [6.744583770038476]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータを扱うために広く使われているディープラーニングネットワークである。我々は, 深部狭いRNNの普遍性を証明し, 最大幅の上限がデータ長に依存しないことを示す。
論文参考訳（メタデータ） (2022-11-25T02:43:54Z)
Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
論文参考訳（メタデータ） (2022-09-23T04:03:50Z)
Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems [6.84380898679299]
現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
論文参考訳（メタデータ） (2022-08-28T22:44:07Z)
Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文参考訳（メタデータ） (2022-02-23T02:39:04Z)
Minimum Width for Universal Approximation [91.02689252671291]
我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
論文参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。