論文の概要: Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression
- arxiv url: http://arxiv.org/abs/2410.06378v1
- Date: Tue, 8 Oct 2024 21:23:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 06:09:19.639631
- Title: Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression
- Title（参考訳）: 関数近似と非パラメトリック回帰への応用による深部ReLUネットワークの被覆数
- Authors: Weigutian Ou, Helmut Bölcskei,
- Abstract要約: 我々は、完全連結ネットワークの被覆数に対して、(乗法定数まで)下限と上限を密に展開する。
境界の厳密さにより、疎度、量子化、有界対非有界重み、およびネットワーク出力トランケーションの影響の根本的な理解が展開できる。
- 参考スコア（独自算出の注目度）: 4.297070083645049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Covering numbers of families of (deep) ReLU networks have been used to characterize their approximation-theoretic performance, upper-bound the prediction error they incur in nonparametric regression, and quantify their classification capacity. These results are based on covering number upper bounds obtained through the explicit construction of coverings. Lower bounds on covering numbers do not seem to be available in the literature. The present paper fills this gap by deriving tight (up to a multiplicative constant) lower and upper bounds on the covering numbers of fully-connected networks with bounded weights, sparse networks with bounded weights, and fully-connected networks with quantized weights. Thanks to the tightness of the bounds, a fundamental understanding of the impact of sparsity, quantization, bounded vs. unbounded weights, and network output truncation can be developed. Furthermore, the bounds allow to characterize the fundamental limits of neural network transformation, including network compression, and lead to sharp upper bounds on the prediction error in nonparametric regression through deep networks. Specifically, we can remove a $\log^6(n)$-factor in the best-known sample complexity rate in the estimation of Lipschitz functions through deep networks thereby establishing optimality. Finally, we identify a systematic relation between optimal nonparametric regression and optimal approximation through deep networks, unifying numerous results in the literature and uncovering general underlying principles.
- Abstract（参考訳）: 深い)ReLUネットワークのファミリー数をカバーすることは、近似理論の性能、非パラメトリック回帰で発生する予測誤差の上限、分類能力の定量化に使われてきた。
これらの結果は被覆の明示的な構成によって得られた被覆数上界に基づいている。
カバー数に関する下限は、文献では利用できないようである。
本稿では, 有界重み付き完全連結ネットワーク, 有界重み付きスパースネットワーク, 量子化重み付き完全連結ネットワークの被覆数に対して, 厳密な(乗算定数まで)下限と上限を導出することにより, このギャップを埋める。
境界の厳密さにより、疎度、量子化、有界対非有界重み、およびネットワーク出力トランケーションの影響の根本的な理解が展開できる。
さらに、このバウンダリは、ネットワーク圧縮を含むニューラルネットワーク変換の基本的限界を特徴付けることができ、ディープネットワークによる非パラメトリック回帰における予測誤差のシャープな上限につながる。
具体的には、深層ネットワークによるリプシッツ関数の推定において、最もよく知られたサンプル複雑性率の$\log^6(n)$-factorを除去し、最適性を確立する。
最後に,深層ネットワークによる最適非パラメトリック回帰と最適近似の体系的関係を同定し,文献における多くの結果を統一し,基礎原理を明らかにする。
関連論文リスト
- Three Quantization Regimes for ReLU Networks [3.823356975862005]
有限精度重み付き深部ReLUニューラルネットワークによるリプシッツ関数近似の基本的な限界を確立する。
適切な量子化方式では、ニューラルネットワークはリプシッツ関数の近似においてメモリ最適性を示す。
論文 参考訳（メタデータ） (2024-05-03T09:27:31Z) - Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳（メタデータ） (2024-02-21T18:35:27Z) - Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳（メタデータ） (2023-12-18T22:29:40Z) - Optimization dependent generalization bound for ReLU networks based on
sensitivity in the tangent bundle [0.0]
本稿では,フィードフォワードReLUネットワークの一般化誤差に基づいたPAC型を提案する。
得られた境界はネットワークの深さに明示的に依存しない。
論文 参考訳（メタデータ） (2023-10-26T13:14:13Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳（メタデータ） (2021-11-23T20:31:42Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。