論文の概要: On Explicit Super-Expressive Approximation for Neural Networks

• arxiv url: http://arxiv.org/abs/2607.06781v1
• Date: Tue, 07 Jul 2026 20:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.208229
• Title: On Explicit Super-Expressive Approximation for Neural Networks
• Title（参考訳）: ニューラルネットワークの明示的超圧縮近似について
• Abstract要約: パラメータ境界と基本活性化を用いた固定構造ニューラルネットワーク近似について検討する。 以前の研究では、固定サイズネットワークを用いた超表現的近似が示されていたが、近似誤差に関するパラメータの量的および非漸近的な特徴が欠如していた。
• 参考スコア（独自算出の注目度）: 14.904203072235434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate the fixed-architecture neural network approximation with explicit parameter bounds and elementary activations. While prior work demonstrated super-expressive approximation using fixed-size networks, they lack quantitative and non-asymptotic characterizations of parameter magnitude with respect to the approximation error. We resolve this issue by introducing the Chinese Remainder Theorem as a constructive encoding mechanism. For Lipschitz continuous functions on $[0,1]^D$, we construct a width-$\max\{D,4\}$, depth-$5$ network with explicit parameter-error trade-offs. For Hölder-smooth functions in $C^{r,γ}_A\left([0,1]^D\right)$, our fixed network of width $\max\{2D,\ D+5N+1\}$ and depth $r + 9$ achieves the parameter magnitude $\mathcal{P}$ bounded by $\log_2 \mathcal{P}=\mathcal{O}\bigl(\varepsilon^{-2D/(r+γ)}\log(1/\varepsilon)\bigr)$. This is the dual result compared to those in the parameter-bounded and architecture-unbounded paradigm.
• Abstract（参考訳）: 本研究では,パラメータ境界と基本活性化を用いたニューラルネットワークの固定構造について検討する。 以前の研究では、固定サイズネットワークを用いた超表現的近似が示されていたが、近似誤差に関するパラメータの量的および非漸近的な特徴が欠如していた。 構築的符号化機構として中国語のRemainder Theoremを導入することでこの問題を解決する。 $[0,1]^D$ 上のリプシッツ連続関数に対して、明示的なパラメータ-エラートレードオフを持つ幅-$\max\{D,4\}$, depth-$5$ネットワークを構築する。 C^{r,γ}_A\left([0,1]^D\right)$ の Hölder-smooth 関数に対して、幅 $\max\{2D,\ D+5N+1\}$ と深さ $r + 9$ の固定ネットワークは $\log_2 \mathcal{P}=\mathcal{O}\bigl(\varepsilon^{-2D/(r+γ)}\log(1/\varepsilon)\bigr$ で有界となる。 これはパラメータ境界とアーキテクチャ非境界のパラダイムと比較した場合の二重結果である。

関連論文リスト

• Sharp Approximation Rates for Neural Networks with Affine Latent Parameterizations [6.851715331085056]
  我々は、潜伏次元$M$とネットワーク予算$P$のトレードオフを研究する。 我々は、$[0,1]d$上の$$-Hlder関数の単位球に対する最適な最悪の一様近似誤差が、$0leq1$のシャープオーダー$ bigl(PminM,Pbigr)-/dであることを証明する。
  論文  参考訳（メタデータ） (2026-08-31T17:55:51Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Fast $(1+\varepsilon)$-Approximation Algorithms for Binary Matrix Factorization [54.29685789885059]
  本稿では, 2次行列分解(BMF)問題に対する効率的な$(1+varepsilon)$-approximationアルゴリズムを提案する。 目標は、低ランク因子の積として$mathbfA$を近似することである。 我々の手法はBMF問題の他の一般的な変種に一般化する。
  論文  参考訳（メタデータ） (2023-06-02T18:55:27Z)
• On Enhancing Expressive Power via Compositions of Single Fixed-Size ReLU Network [11.66117393949175]
  1つの固定サイズReLUネットワークの繰り返し構成が驚くほどの表現力を示すことを示す。 この結果から, 動的系を経由した連続深度ネットワークは, 動的関数が時間非依存であっても, 膨大な近似能力を有することが明らかとなった。
  論文  参考訳（メタデータ） (2023-01-29T04:12:58Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Low-degree learning and the metric entropy of polynomials [44.99833362998488]
  少なくとも$Omega(sqrtvarepsilon)2dlog n leq log mathsfM(mathscrF_n,d,|cdot|_L,varepsilon)は2辺の推定値$c(1-varepsilon)2dlogを満たす。
  論文  参考訳（メタデータ） (2022-03-17T23:52:08Z)
• ReLU Network Approximation in Terms of Intrinsic Parameters [5.37133760455631]
  固有パラメータ数の観点からReLUネットワークの近似誤差について検討する。 我々は、3つの固有パラメータしか持たないReLUネットワークを設計し、任意の誤差でH"古い連続関数を近似する。
  論文  参考訳（メタデータ） (2021-11-15T18:20:38Z)
• Neural networks with superexpressive activations and integer weights [91.3755431537592]
  アクティベーション関数の例 $sigma$ は、アクティベーションを持つネットワーク $sigma, lfloorcdotrfloor$, integer weights と固定アーキテクチャが与えられる。 より古い連続関数の $varepsilon$-approximation に必要な整数ウェイトの範囲が導出される。
  論文  参考訳（メタデータ） (2021-05-20T17:29:08Z)
• Function approximation by deep neural networks with parameters $\{0,\pm \frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
  C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。 構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
  論文  参考訳（メタデータ） (2021-03-15T19:10:02Z)
• Optimal Approximation Rate of ReLU Networks in terms of Width and Depth [5.37133760455631]
  本稿では,深部フィードフォワードニューラルネットワークの幅と深さの近似力に着目した。 幅$mathcalObig(maxdlfloor N1/drfloor,, N+2big)$と深さ$mathcalO(L)$のReLUネットワークは、近似レート$mathcalObig(lambdasqrtd (N2L2ln)で$[0,1]d$のH"古い連続関数を近似できる。
  論文  参考訳（メタデータ） (2021-02-28T13:15:55Z)
• Neural Network Approximation: Three Hidden Layers Are Enough [4.468952886990851]
  超近似パワーを有する3層ニューラルネットワークを導入する。 ネットワークはフロア関数(lfloor xrfloor$)、指数関数(2x$)、ステップ関数(1_xgeq 0$)、または各ニューロンの活性化関数としてのそれらの構成で構築される。
  論文  参考訳（メタデータ） (2020-10-25T18:30:57Z)
• Deep Network Approximation for Smooth Functions [9.305095040004156]
  幅$mathcalO(Nln N)$と深さ$mathcalO(L L)$の深いReLUネットワークは、ほぼ最適近似誤差で$fin Cs([0,1]d)$を近似できることを示す。 我々の推定は、それぞれ$NinmathbbN+$と$LinmathbbN+$で指定された任意の幅と深さに対して有効であるという意味では漸近的ではない。
  論文  参考訳（メタデータ） (2020-01-09T15:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。