論文の概要: Optimal approximation of smooth functions by ReLU neural networks
- arxiv url: http://arxiv.org/abs/2610.22693v1
- Date: Thu, 15 Oct 2026 22:00:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.68446
- Title: Optimal approximation of smooth functions by ReLU neural networks
- Title(参考訳): ReLUニューラルネットワークによる滑らか関数の最適近似
- Abstract要約: 完全連結ReLUネットワークによるHlderボール$mathcal H_1s([0,1]D)$の均一近似について検討した。
この記事では、$s>0$と$Dge1$のギャップを埋める: 幅が$O(N)$、deep $O(L)$、パラメータの$O(1)$がオーダー$(N2L2log N)-s/D$の均一近似誤差を得る。
- 参考スコア(独自算出の注目度): 7.106986689736826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study uniform approximation of the Hölder ball $\mathcal H_1^s([0,1]^D)$ by fully connected ReLU networks. Except in the one-dimensional Lipschitz case, existing constructions remain separated from the information-theoretic efficiency limit. This article closes the gap for every $s>0$ and $D\ge1$: networks with width $O(N)$, depth $O(L)$, and parameter magnitude $O(1)$ attain uniform approximation error of order $(N^2L^2\log N)^{-s/D}$. No relation between width and depth is required. The construction uses new encoding and decoding mechanisms that exploit higher-order finite-difference bounds for local Taylor coefficients of the target function. As a statistical consequence, empirical risk minimizers over the corresponding clipped network classes attain the minimax regression rate $n^{-2s/(2s+D)}$ without additional logarithmic factors. The paper also gives a detailed exposition of the key approximation techniques, covering both established and new mechanisms.
- Abstract(参考訳): 完全連結ReLUネットワークによるHölderボール$\mathcal H_1^s([0,1]^D)$の均一近似について検討した。
1次元リプシッツの場合を除いて、既存の構成は情報理論の効率限界から切り離されているままである。
この記事では、すべての$s>0$と$D\ge1$のギャップを埋める: 幅が$O(N)$, depth $O(L)$, and parameter magnitude $O(1)$ at able uniform approximation error of order $(N^2L^2\log N)^{-s/D}$。
幅と深さの関係は不要である。
この構造は、ターゲット関数の局所テイラー係数に対して高階有限差分境界を利用する新しい符号化と復号機構を用いる。
統計的結果として、対応する切断されたネットワーククラスに対する経験的リスク最小化器は、追加の対数係数を伴わないミニマックス回帰率$n^{-2s/(2s+D)}$に達する。
また,本論文では,確立された機構と新しい機構の両方を網羅した,鍵近似手法の詳細な解説を行う。
関連論文リスト
- Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds [1.0152838128195467]
定数深さとサイズ$widetilde O_n,d(p-9varepsilon-maxd/n,2 log (1/)$。
この構成は、有界な局所ワーク、成功した近似事象の局所化、およびマルチスケールのテイラー分解を組み合わせたものである。
論文 参考訳(メタデータ) (2026-09-30T19:19:07Z) - Arbitrary-Accuracy Neural Approximation with Optimal Neuron Count and Near-Optimal Bit Complexity [1.3709465727733763]
局所的に可積分な活性化とアフィン出力を持つ標準フィードフォワードネットワークにおいて,$d+1$は隠れニューロンの最小総数であることを示す。
これらの構造は、明示的なグリッドアドレッシングと量子化された関数値の整数エンコーディングを使用する。
論文 参考訳(メタデータ) (2026-09-28T17:00:04Z) - Optimal Tradeoffs Between Network Size and Parameter Magnitude in Neural Approximation and Minimax Regression [12.592251634771314]
パラメータ等級は、両方の点において役割を定量化しなければならない別のリソースを提供する。
我々は1つの境界付き1ドルLipschitz Dyadic--Triangular Activationを用いて、一定の深さでシャープな幅-マグニチュードトレードオフを確立する。
これにより、単位パラメータ半径から固定ネットワークサイズまで、統計的に最適な選択の連続性が得られる。
論文 参考訳(メタデータ) (2026-09-22T05:28:37Z) - Approximation of Analytic Functions by ReLU Neural Networks with Adjustable Depth and Width [10.609056138359751]
citeshen 2020deepは幅パラメータ$N$と深さパラメータ$Lの結合関数として近似率の特性を開拓した。
解析関数近似の文脈では,深さが幅よりも重要な役割を担っていることが明らかとなった。
論文 参考訳(メタデータ) (2026-07-12T05:59:12Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。
SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文 参考訳(メタデータ) (2024-06-03T17:56:58Z) - Provably Efficient Reinforcement Learning with Multinomial Logit Function Approximation [67.8414514524356]
本稿では,MNL関数近似を用いたMDPの新たなクラスについて検討し,状態空間上の確率分布の正当性を保証する。
その大きな利点にもかかわらず、非線形関数を組み込むことは、統計的および計算効率の両方において重大な課題を提起する。
我々は,$widetildemathcalO(dH2sqrtK + kappa-1d2H2)$を後悔するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-05-27T11:31:54Z) - Provably Efficient Reinforcement Learning via Surprise Bound [66.15308700413814]
本稿では,一般値関数近似を用いた効率の良い強化学習アルゴリズムを提案する。
本アルゴリズムは, 線形設定と疎高次元線形設定の両方に適用した場合に, 合理的な後悔境界を達成できる。
論文 参考訳(メタデータ) (2023-02-22T20:21:25Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳(メタデータ) (2021-04-05T18:02:04Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov
Decision Processes [91.38793800392108]
本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。
上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。
我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
論文 参考訳(メタデータ) (2020-12-15T18:56:46Z) - Logarithmic Regret for Reinforcement Learning with Linear Function
Approximation [99.59319332864129]
最近提案された2つの線形MDP仮定で対数的後悔が達成可能であることを示す。
我々の知る限り、これらは線型関数近似を持つRLに対する最初の対数的後悔境界である。
論文 参考訳(メタデータ) (2020-11-23T17:25:00Z) - Deep Network Approximation for Smooth Functions [9.305095040004156]
幅$mathcalO(Nln N)$と深さ$mathcalO(L L)$の深いReLUネットワークは、ほぼ最適近似誤差で$fin Cs([0,1]d)$を近似できることを示す。
我々の推定は、それぞれ$NinmathbbN+$と$LinmathbbN+$で指定された任意の幅と深さに対して有効であるという意味では漸近的ではない。
論文 参考訳(メタデータ) (2020-01-09T15:06:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。