論文の概要: How do noise tails impact on deep ReLU networks?
- arxiv url: http://arxiv.org/abs/2203.10418v1
- Date: Sun, 20 Mar 2022 00:27:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 18:48:24.884351
- Title: How do noise tails impact on deep ReLU networks?
- Title（参考訳）: ノイズテールは深いreluネットワークにどのように影響するか?
- Authors: Jianqing Fan, Yihong Gu, Wen-Xin Zhou
- Abstract要約: 非パラメトリック回帰関数のクラスにおける最適収束速度が p, 滑らか度, 内在次元に依存することを示す。
我々はまた、深部ReLUニューラルネットワークの近似理論に関する新しい結果にも貢献する。
- 参考スコア（独自算出の注目度）: 2.5889847253961418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the stability of deep ReLU neural networks for
nonparametric regression under the assumption that the noise has only a finite
p-th moment. We unveil how the optimal rate of convergence depends on p, the
degree of smoothness and the intrinsic dimension in a class of nonparametric
regression functions with hierarchical composition structure when both the
adaptive Huber loss and deep ReLU neural networks are used. This optimal rate
of convergence cannot be obtained by the ordinary least squares but can be
achieved by the Huber loss with a properly chosen parameter that adapts to the
sample size, smoothness, and moment parameters. A concentration inequality for
the adaptive Huber ReLU neural network estimators with allowable optimization
errors is also derived. To establish a matching lower bound within the class of
neural network estimators using the Huber loss, we employ a different strategy
from the traditional route: constructing a deep ReLU network estimator that has
a better empirical loss than the true function and the difference between these
two functions furnishes a low bound. This step is related to the Huberization
bias, yet more critically to the approximability of deep ReLU networks. As a
result, we also contribute some new results on the approximation theory of deep
ReLU neural networks.
- Abstract（参考訳）: 本稿では, 雑音が有限位相しか持たないという仮定の下で, 非パラメトリック回帰に対する深いReLUニューラルネットワークの安定性について検討する。
本稿では,階層的構成構造を持つ非パラメトリック回帰関数のクラスにおいて,適応型フーバー損失と深層reluニューラルネットワークを用いた場合,収束の最適速度がp,滑らか度,内在次元にどのように依存するかを明らかにする。
この最適収束率は通常の最小二乗法では得られないが、サンプルサイズ、滑らかさ、モーメントパラメータに適応する適切に選択されたパラメータを持つフーバー損失によって達成できる。
最適化誤差を許容する適応型フーバーreluニューラルネットワーク推定器の濃度不等式も導出する。
フーバー損失を用いたニューラルネットワーク推定器のクラス内のマッチング下限を確立するために、従来の経路とは異なる戦略を採用し、真の機能よりも優れた経験的損失を持つ深いreluネットワーク推定器を構築し、これら2つの関数の違いは低いバウンドを提供する。
このステップはHuberizationバイアスに関連しているが、より重要なのは深いReLUネットワークの近似性である。
その結果,深層reluニューラルネットワークの近似理論において新たな結果が得られた。
関連論文リスト
- Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。
最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
論文 参考訳（メタデータ） (2024-10-08T16:54:23Z) - Equidistribution-based training of Free Knot Splines and ReLU Neural Networks [0.0]
固定化線形ユニット(ReLU)アクティベーション機能を持つ浅層ニューラルネットワーク(NN)を用いて,$L$に基づく近似問題は不条件であることを示す。
まず,最適ノット位置を求める非線形問題を解くことで,FKSのトレーニングを行う2段階の手順を提案する。
次に、FKSの最適重みと結び目を決定する。
論文 参考訳（メタデータ） (2024-07-02T10:51:36Z) - Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network [3.4623717820849476]
本研究では、下層の回帰関数とその勾配の非パラメトリック推定のための半教師付きディープソボレフ回帰器SDOREを提案する。
我々の研究は、SDOREの収束速度を$L2$-normで徹底的に分析し、ミニマックス最適性を達成することを含む。
論文 参考訳（メタデータ） (2024-01-09T13:10:30Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Optimal rates of approximation by shallow ReLU$^k$ neural networks and
applications to nonparametric regression [12.21422686958087]
本研究では、浅いReLU$k$のニューラルネットワークに対応する変動空間の近似能力について検討する。
滑らかさの低い関数に対しては、変動ノルムの観点から近似率が確立される。
浅層ニューラルネットワークは,H"古い関数の学習に最適な最小値が得られることを示す。
論文 参考訳（メタデータ） (2023-04-04T06:35:02Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks [2.4554686192257424]
我々は、一般化されたJensen-Shannon(JS)の発散に新たな修正を加えて、BNNの新たな損失関数を定式化する。
JSの発散に基づく変分推論は難解であり,従ってこれらの損失を定式化するために制約付き最適化フレームワークが用いられている。
複数の回帰および分類データセットに関する理論的解析および実証実験により、提案された損失はKLの発散に基づく損失よりも良く、特にデータセットがノイズや偏りがある場合の方が優れていることが示唆された。
論文 参考訳（メタデータ） (2022-09-23T01:47:09Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。