論文の概要: Tractability of approximation by general shallow networks

• arxiv url: http://arxiv.org/abs/2308.03230v2
• Date: Sun, 10 Dec 2023 19:07:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 01:59:22.589320
• Title: Tractability of approximation by general shallow networks
• Title（参考訳）: 一般浅層ネットワークによる近似のトラクタビリティ
• Authors: Hrushikesh Mhaskar, Tong Mao
• Abstract要約: xmapsto sum_k=1n a_kG(x, y_k)$, $ xinmathbbX$, by $G$-networks of the form $ xmapsto sum_k=1n a_kG(x, y_k)$。 独立次元境界を$n$で近似の度合いで取得し、関連する定数もすべて次元に依存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a sharper version of the results in the paper Dimension independent bounds for general shallow networks; Neural Networks, \textbf{123} (2020), 142-152. Let $\mathbb{X}$ and $\mathbb{Y}$ be compact metric spaces. We consider approximation of functions of the form $ x\mapsto\int_{\mathbb{Y}} G( x, y)d\tau( y)$, $ x\in\mathbb{X}$, by $G$-networks of the form $ x\mapsto \sum_{k=1}^n a_kG( x, y_k)$, $ y_1,\cdots, y_n\in\mathbb{Y}$, $a_1,\cdots, a_n\in\mathbb{R}$. Defining the dimensions of $\mathbb{X}$ and $\mathbb{Y}$ in terms of covering numbers, we obtain dimension independent bounds on the degree of approximation in terms of $n$, where also the constants involved are all dependent at most polynomially on the dimensions. Applications include approximation by power rectified linear unit networks, zonal function networks, certain radial basis function networks as well as the important problem of function extension to higher dimensional spaces.
• Abstract（参考訳）: 本稿では,一般浅層ネットワークの次元独立境界(ニューラルネットワーク, \textbf{123} (2020), 142-152)において,よりシャープな結果版を提案する。 \mathbb{x}$ と $\mathbb{y}$ をコンパクト距離空間とする。 x\mapsto\int_{\mathbb{Y}} G(x, y)d\tau( y)$, $ x\in\mathbb{X}$, by $G$-networks of the form $ x\mapsto \sum_{k=1}^n a_kG(x, y_k)$, $ y_1,\cdots, y_n\in\mathbb{Y}$, $a_1,\cdots, a_n\in\mathbb{R}$。 被覆数の観点から、$\mathbb{x}$ と $\mathbb{y}$ の次元を定義すると、n$ の項で近似の次数上の次元独立な境界が得られる。 応用には、高次元空間への関数拡張の重要な問題だけでなく、電力整合線形単位ネットワーク、粒子関数ネットワーク、特定の放射基底関数ネットワークによる近似が含まれる。

関連論文リスト

• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• A Minimal Control Family of Dynamical Syetem for Universal Approximation [6.164223149261533]
  制御族は任意のコンパクト領域上で$mathbbRd$の微分同相を近似できるフロー写像を生成することができることを示す。 この結果から,ニューラルネットワークと制御系の近似パワーの基盤となる関係が明らかとなった。
  論文  参考訳（メタデータ） (2023-12-20T10:36:55Z)
• Noncompact uniform universal approximation [0.0]
  普遍近似定理は、(コンパクトでない)入力空間 $mathbbRn$ 上の一様収束に一般化される。 無限大で消えるすべての連続関数は、ニューラルネットワークによって一様に近似することができる。
  論文  参考訳（メタデータ） (2023-08-07T08:54:21Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Deep Learning in High Dimension: Neural Network Approximation of Analytic Functions in $L^2(\mathbb{R}^d,\gamma_d)$ [0.0]
  解析関数 $f:mathbbRdtomathbbR$ の式率を $L2(mathbbRd,gamma_d)$ のノルムで証明する。 特に、整数 $kgeq 2$ に対する ReLU と ReLU$k$ のアクティベーションを考える。 対数ガウス確率場入力による楕円型PDEの応答面に対する深いReLU-NNの表現速度境界を証明した。
  論文  参考訳（メタデータ） (2021-11-13T09:54:32Z)
• On minimal representations of shallow ReLU networks [0.0]
  f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。 特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
  論文  参考訳（メタデータ） (2021-08-12T10:22:24Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• A Canonical Transform for Strengthening the Local $L^p$-Type Universal Approximation Property [4.18804572788063]
  任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。 本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
  論文  参考訳（メタデータ） (2020-06-24T17:46:35Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。