Fugu-MT 論文翻訳(概要): Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces

論文の概要: Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces

arxiv url: http://arxiv.org/abs/2405.06727v1
Date: Fri, 10 May 2024 14:31:58 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 20:15:33.475426
Title: Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces
Title（参考訳）: 低規則関数空間上のReLUネットワークの近似誤差と複素性境界
Authors: Owen Davis, Gianluca Geraci, Mohammad Motamed,
Abstract要約: 本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we consider the approximation of a large class of bounded functions, with minimal regularity assumptions, by ReLU neural networks. We show that the approximation error can be bounded from above by a quantity proportional to the uniform norm of the target function and inversely proportional to the product of network width and depth. We inherit this approximation error bound from Fourier features residual networks, a type of neural network that uses complex exponential activation functions. Our proof is constructive and proceeds by conducting a careful complexity analysis associated with the approximation of a Fourier features residual network by a ReLU network.
Abstract（参考訳）: 本研究では,ReLUニューラルネットワークによる有界関数の大規模クラスを最小限の正則性仮定で近似する。近似誤差は、対象関数の一様ノルムに比例し、ネットワーク幅と深さの積に逆比例する量で上から有界化可能であることを示す。複雑な指数的アクティベーション関数を利用するニューラルネットワークの一種である残差ネットワークを特徴とするフーリエから有界な近似誤差を継承する。提案手法は,ReLUネットワークによるフーリエ特徴量残差ネットワークの近似に係わる注意深い複雑性解析を行うことにより構成的かつ進行する。

関連論文リスト

ReLU neural network approximation to piecewise constant functions [3.5928501649873326]
3層ReLU NNは任意の定数関数を正確に近似するのに十分であることを示す。不連続界面が凸であれば、正確な重みと偏りを持つReLU NN近似の分析式が提供される。
論文参考訳（メタデータ） (2024-10-21T20:58:34Z)
Deep Learning without Global Optimization by Random Fourier Neural Networks [0.0]
本稿では、ランダムな複雑な指数関数活性化関数を利用する様々なディープニューラルネットワークのための新しいトレーニングアルゴリズムを提案する。提案手法では,マルコフ連鎖モンテカルロサンプリング法を用いてネットワーク層を反復的に訓練する。複雑な指数的活性化関数を持つ残留ネットワークの理論的近似速度を一貫して達成する。
論文参考訳（メタデータ） (2024-07-16T16:23:40Z)
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文参考訳（メタデータ） (2023-12-18T22:29:40Z)
Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks [3.222802562733787]
本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
論文参考訳（メタデータ） (2023-01-30T17:29:19Z)
Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文参考訳（メタデータ） (2021-08-15T10:13:49Z)
Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks [0.0]
浅部ニューラルネットワークの近似速度に対して, 急激な下界を証明した。これらの下界は、有界変動を持つシグモノイド活性化関数と、ReLUのパワーである活性化関数の両方に適用できる。
論文参考訳（メタデータ） (2021-06-28T22:01:42Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。