論文の概要: Optimal Tradeoffs Between Network Size and Parameter Magnitude in Neural Approximation and Minimax Regression

• arxiv url: http://arxiv.org/abs/2609.25710v1
• Date: Tue, 22 Sep 2026 05:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.232383
• Title: Optimal Tradeoffs Between Network Size and Parameter Magnitude in Neural Approximation and Minimax Regression
• Title（参考訳）: ニューラル近似とミニマックス回帰におけるネットワークサイズとパラメータマグニチュードの最適トレードオフ
• Abstract要約: パラメータ等級は、両方の点において役割を定量化しなければならない別のリソースを提供する。 我々は1つの境界付き1ドルLipschitz Dyadic--Triangular Activationを用いて、一定の深さでシャープな幅-マグニチュードトレードオフを確立する。 これにより、単位パラメータ半径から固定ネットワークサイズまで、統計的に最適な選択の連続性が得られる。
• 参考スコア（独自算出の注目度）: 12.592251634771314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The statistical accuracy of neural networks depends on both their approximation power and the complexity of the class fitted from data. While increasing network size is a natural way to improve approximation, parameter magnitude provides another resource whose role must be quantified in both respects. We establish a sharp width--magnitude tradeoff at fixed depth using one elementary bounded $1$-Lipschitz Dyadic--Triangular Activation. For the unit $β$-Hölder ball on $[0,1]^d$ with $0<β\leq1$, the optimal $L^p$ approximation error for $0<p<\infty$ is of order $[N^2\log(eNT)]^{-β/d}$ when the network width satisfies $N\geq2d+3$ and the parameter magnitudes are bounded by $T\geq1$. Matching lower bounds hold for every fixed globally Hölder activation; its Hölder exponent affects the constants but not the rate. Under bounded design densities and independent centered sub-Gaussian noise, approximate least squares over the full clipped class at depth $23$ attains the classical Hölder minimax risk $\mathcal{O}(M^{-\frac{2β}{2β+d}})$ without logarithmic loss whenever $N^2\log(eNT)\asymp M^{\frac{d}{2β+d}}$, where $M$ is the sample size. This yields a continuum of statistically optimal choices, ranging from unit parameter radius to fixed network size. At fixed size, four hidden layers with at most $8d+7$ nonzero parameters give a near-optimal radius, while six layers with at most $8d+27$ attain the optimal order $\log T=\mathcal{O}(η^{-d/β})$ at approximation error $η$. The same decoding method also yields fixed-size Transformer approximation.
• Abstract（参考訳）: ニューラルネットワークの統計的精度は、その近似能力とデータから取付けられたクラスの複雑さの両方に依存する。 ネットワークサイズの増加は近似を改善する自然な方法であるが、パラメータサイズは両方の点において役割を定量化しなければならない別のリソースを提供する。 我々は,1-Lipschitz Dyadic--Triangular Activationを1つの初等境界値を用いて,一定の深さで鮮明な幅-マグニチュードトレードオフを確立する。 0,1]^d$ の単位 $β$-Hölder に対して、$0<β\leq1$ の最適 $L^p$ 近似誤差は$0<p<\infty$ の次数 $[N^2\log(eNT)]^{-β/d} の次数 $[N^2\log(eNT)]^{-β/d} である。 一致した下界は、固定されたグローバルなヘルダーの活性化ごとに保持され、ヘルダー指数は定数に影響を与えるが、レートには影響しない。 有界な設計密度と独立中心のガウス雑音の下では、深さ23$で全クリップされたクラス上の最小二乗は古典的な Hölder minimax risk $\mathcal{O}(M^{-\frac{2β+d}})$ 対数損失のない$ N^2\log(eNT)\asymp M^{\frac{d}{2β+d}}$ となる。 これにより、単位パラメータ半径から固定ネットワークサイズまで、統計的に最適な選択の連続性が得られる。 固定サイズでは、最大で8d+7$の非ゼロパラメータを持つ4つの隠蔽層がほぼ最適半径を与え、最大で8d+27$の6層は最適な順序を$\log T=\mathcal{O}(η^{-d/β})$の近似誤差で$η$を得る。 同じ復号法では、固定サイズトランスフォーマー近似も得られる。

関連論文リスト

• Error bounds in Sobolev norms for approximations with norm constrained ReLU neural networks [1.6265206020315703]
  We analyze how sobolev function in $Wn,p$ can be almostd by neural network with width $W$, depth $L$ and path norm bounded by $K$。 深層ネットワークの場合、幅$W$と深さ$L$が十分大きい場合、その近似値$mathcalO(K-(n-1)/(d+d/p+1))$が成り立つことを示し、滑らかさの制限を除去する。
  論文  参考訳（メタデータ） (2026-09-17T09:10:24Z)
• On Explicit Super-Expressive Approximation for Neural Networks [14.904203072235434]
  パラメータ境界と基本活性化を用いた固定構造ニューラルネットワーク近似について検討する。 以前の研究では、固定サイズネットワークを用いた超表現的近似が示されていたが、近似誤差に関するパラメータの量的および非漸近的な特徴が欠如していた。
  論文  参考訳（メタデータ） (2026-07-07T20:21:57Z)
• Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
  我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
  論文  参考訳（メタデータ） (2025-06-30T13:27:39Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [12.171849953316192]
  我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。 例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
  論文  参考訳（メタデータ） (2024-08-20T16:43:45Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Optimal and Efficient Algorithms for Decentralized Online Convex Optimization [51.00357162913229]
  分散オンライン凸最適化(D-OCO)は、局所計算と通信のみを用いて、グローバルな損失関数の列を最小化するように設計されている。 我々は,凸関数と強凸関数の残差を$tildeO(nrho-1/4sqrtT)$と$tildeO(nrho-1/2log T)$に削減できる新しいD-OCOアルゴリズムを開発した。 我々の分析によると、射影自由多様体は$O(nT3/4)$と$O(n)を達成できる。
  論文  参考訳（メタデータ） (2024-02-14T13:44:16Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes [91.38793800392108]
  本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。 上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。 我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-12-15T18:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。