Fugu-MT 論文翻訳(概要): On Size-Independent Sample Complexity of ReLU Networks

論文の概要: On Size-Independent Sample Complexity of ReLU Networks

arxiv url: http://arxiv.org/abs/2306.01992v3
Date: Sun, 4 Feb 2024 19:12:16 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 06:16:36.213145
Title: On Size-Independent Sample Complexity of ReLU Networks
Title（参考訳）: ReLUネットワークのサイズ非依存サンプル複雑性について
Authors: Mark Sellke
Abstract要約: 一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。関連する関数クラスのRademacher複雑性を推定する。
参考スコア（独自算出の注目度）: 9.15749739027059
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the sample complexity of learning ReLU neural networks from the point of view of generalization. Given norm constraints on the weight matrices, a common approach is to estimate the Rademacher complexity of the associated function class. Previously Golowich-Rakhlin-Shamir (2020) obtained a bound independent of the network size (scaling with a product of Frobenius norms) except for a factor of the square-root depth. We give a refinement which often has no explicit depth-dependence at all.
Abstract（参考訳）: 一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。重み行列のノルム制約が与えられたとき、関連する関数クラスのラデマッハ複雑性を推定する共通のアプローチがある。以前の Golowich-Rakhlin-Shamir (2020) は、二乗根深さの係数を除いて、ネットワークサイズ(フロベニウスノルムの積とスケーリングする)の有界独立性を得た。しばしば明示的な深さ依存性を持たない精細度を与える。

関連論文リスト

A Margin-based Multiclass Generalization Bound via Geometric Complexity [6.554326244334867]
ニューラルネットワークに対するマージンベース多クラス一般化境界について検討する。ネットワークの余分な正規化幾何学的複雑さでスケールする一般化誤差に新たな上限を導出する。
論文参考訳（メタデータ） (2024-05-28T21:08:58Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Depth Separation in Norm-Bounded Infinite-Width Neural Networks [55.21840159087921]
無限幅ニューラルネットワークでは,重みの総和$ell$-normで複雑性を制御できる。本稿では,標準制御深度3ReLUネットワークによる入力次元のサンプル複雑性を学習可能な関数が存在するが,標準制御深度2ReLUネットワークによるサブ指数サンプル複雑性では学習できないことを示す。
論文参考訳（メタデータ） (2024-02-13T21:26:38Z)
Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
論文参考訳（メタデータ） (2023-11-18T04:41:07Z)
Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文参考訳（メタデータ） (2023-04-19T16:39:44Z)
Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation [0.0]
一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
論文参考訳（メタデータ） (2023-03-06T23:01:53Z)
Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
論文参考訳（メタデータ） (2023-01-28T00:06:22Z)
On Rademacher Complexity-based Generalization Bounds for Deep Learning [18.601449856300984]
Rademacherの複雑性に基づくアプローチは、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができることを示す。以上の結果から,ReLU,Leaky ReLU,Parametric Rectifier Linear Unit,Sigmoid,Tanhなどの特別なアクティベーション機能を持つCNNのネットワーク長に依存しないことがわかった。
論文参考訳（メタデータ） (2022-08-08T17:24:04Z)
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文参考訳（メタデータ） (2021-10-18T18:00:36Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。