論文の概要: How do noise tails impact on deep ReLU networks?
- arxiv url: http://arxiv.org/abs/2203.10418v1
- Date: Sun, 20 Mar 2022 00:27:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 18:48:24.884351
- Title: How do noise tails impact on deep ReLU networks?
- Title（参考訳）: ノイズテールは深いreluネットワークにどのように影響するか?
- Authors: Jianqing Fan, Yihong Gu, Wen-Xin Zhou
- Abstract要約: 非パラメトリック回帰関数のクラスにおける最適収束速度が p, 滑らか度, 内在次元に依存することを示す。
我々はまた、深部ReLUニューラルネットワークの近似理論に関する新しい結果にも貢献する。
- 参考スコア（独自算出の注目度）: 2.5889847253961418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the stability of deep ReLU neural networks for
nonparametric regression under the assumption that the noise has only a finite
p-th moment. We unveil how the optimal rate of convergence depends on p, the
degree of smoothness and the intrinsic dimension in a class of nonparametric
regression functions with hierarchical composition structure when both the
adaptive Huber loss and deep ReLU neural networks are used. This optimal rate
of convergence cannot be obtained by the ordinary least squares but can be
achieved by the Huber loss with a properly chosen parameter that adapts to the
sample size, smoothness, and moment parameters. A concentration inequality for
the adaptive Huber ReLU neural network estimators with allowable optimization
errors is also derived. To establish a matching lower bound within the class of
neural network estimators using the Huber loss, we employ a different strategy
from the traditional route: constructing a deep ReLU network estimator that has
a better empirical loss than the true function and the difference between these
two functions furnishes a low bound. This step is related to the Huberization
bias, yet more critically to the approximability of deep ReLU networks. As a
result, we also contribute some new results on the approximation theory of deep
ReLU neural networks.
- Abstract（参考訳）: 本稿では, 雑音が有限位相しか持たないという仮定の下で, 非パラメトリック回帰に対する深いReLUニューラルネットワークの安定性について検討する。
本稿では,階層的構成構造を持つ非パラメトリック回帰関数のクラスにおいて,適応型フーバー損失と深層reluニューラルネットワークを用いた場合,収束の最適速度がp,滑らか度,内在次元にどのように依存するかを明らかにする。
この最適収束率は通常の最小二乗法では得られないが、サンプルサイズ、滑らかさ、モーメントパラメータに適応する適切に選択されたパラメータを持つフーバー損失によって達成できる。
最適化誤差を許容する適応型フーバーreluニューラルネットワーク推定器の濃度不等式も導出する。
フーバー損失を用いたニューラルネットワーク推定器のクラス内のマッチング下限を確立するために、従来の経路とは異なる戦略を採用し、真の機能よりも優れた経験的損失を持つ深いreluネットワーク推定器を構築し、これら2つの関数の違いは低いバウンドを提供する。
このステップはHuberizationバイアスに関連しているが、より重要なのは深いReLUネットワークの近似性である。
その結果,深層reluニューラルネットワークの近似理論において新たな結果が得られた。
関連論文リスト
- Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。
最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
論文 参考訳（メタデータ） (2024-10-08T16:54:23Z) - Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax
Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。
また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
論文 参考訳（メタデータ） (2024-01-08T23:54:46Z) - Nonparametric regression using over-parameterized shallow ReLU neural networks [10.339057554827392]
ニューラルネットワークは、ある滑らかな関数クラスから関数を学習するために、最小収束率(対数係数まで)を達成することができることを示す。
回帰関数は、滑らかな$alpha(d+3)/2$あるいは浅いニューラルネットワークに対応する変分空間を持つH"古い空間から来ていると仮定される。
副産物として、浅いReLUニューラルネットワークの局所ラデマッハ複雑性に対する新しいサイズ非依存境界を導出する。
論文 参考訳（メタデータ） (2023-06-14T07:42:37Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Optimal rates of approximation by shallow ReLU$^k$ neural networks and
applications to nonparametric regression [12.21422686958087]
本研究では、浅いReLU$k$のニューラルネットワークに対応する変動空間の近似能力について検討する。
滑らかさの低い関数に対しては、変動ノルムの観点から近似率が確立される。
浅層ニューラルネットワークは,H"古い関数の学習に最適な最小値が得られることを示す。
論文 参考訳（メタデータ） (2023-04-04T06:35:02Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Approximation bounds for norm constrained neural networks with
applications to regression and GANs [9.645327615996914]
本稿では,ReLUニューラルネットワークの近似誤差の上限値と下限値について,重みの基準値で検証する。
我々はこれらの近似境界を適用し、ノルム制約付きニューラルネットワークを用いて回帰の収束を分析し、GANによる分布推定を行う。
論文 参考訳（メタデータ） (2022-01-24T02:19:05Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。