論文の概要: Architecture independent generalization bounds for overparametrized deep ReLU networks

• arxiv url: http://arxiv.org/abs/2504.05695v2
• Date: Wed, 09 Apr 2025 17:29:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:33:18.684316
• Title: Architecture independent generalization bounds for overparametrized deep ReLU networks
• Title（参考訳）: 過パラメータ化深部ReLUネットワークに対するアーキテクチャ独立一般化境界
• Authors: Thomas Chen, Chun-Kai Kevin Chien, Patricia Muñoz Ewald, Andrew G. Moore,
• Abstract要約: 過度パラメータ化ニューラルネットワークは、過度パラメータ化のレベルに依存しないテストエラーで一般化できることを示す。 入力空間次元で有界なトレーニングサンプルサイズを持つ過度にパラメータ化された深部ReLUネットワークに対して、勾配勾配を使わずにゼロ損失最小化器を明示的に構築する。
• 参考スコア（独自算出の注目度）: 0.9687141267566189
• License:
• Abstract: We prove that overparametrized neural networks are able to generalize with a test error that is independent of the level of overparametrization, and independent of the Vapnik-Chervonenkis (VC) dimension. We prove explicit bounds that only depend on the metric geometry of the test and training sets, on the regularity properties of the activation function, and on the operator norms of the weights and norms of biases. For overparametrized deep ReLU networks with a training sample size bounded by the input space dimension, we explicitly construct zero loss minimizers without use of gradient descent, and prove that the generalization error is independent of the network architecture.
• Abstract（参考訳）: オーバーパラメトリゼーションニューラルネットワークは、オーバーパラメトリゼーションのレベルに依存し、Vapnik-Chervonenkis(VC)次元に依存しないテストエラーで一般化できることを示す。 我々は、テストおよびトレーニングセットの計量幾何学、活性化関数の正則性、およびバイアスの重みとノルムの作用素ノルムにのみ依存する明示的境界を証明した。 入力空間次元に制限されたトレーニングサンプルサイズを持つ過度にパラメータ化された深部ReLUネットワークに対して、勾配勾配を使わずにゼロ損失最小化器を明示的に構築し、一般化誤差がネットワークアーキテクチャとは独立であることを証明する。

関連論文リスト

• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• On Size-Independent Sample Complexity of ReLU Networks [9.15749739027059]
  一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。 関連する関数クラスのRademacher複雑性を推定する。
  論文  参考訳（メタデータ） (2023-06-03T03:41:33Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• A Lifted Bregman Formulation for the Inversion of Deep Neural Networks [28.03724379169264]
  本稿では,ディープニューラルネットワークの正規化インバージョンのための新しいフレームワークを提案する。 このフレームワークは、補助変数を導入することにより、パラメータ空間を高次元空間に引き上げる。 理論的結果を提示し,その実用的応用を数値的な例で支援する。
  論文  参考訳（メタデータ） (2023-03-01T20:30:22Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Global convergence of ResNets: From finite to infinite width using linear parameterization [0.0]
  残差ブロックが非線形でありながら線形パラメトリゼーションを有する残差ネットワーク(Residual Networks, ResNets)について検討する。 この極限において、局所的なポリアック・ロジャシエヴィチの不等式を証明し、遅延状態を取得する。 私たちの分析は実用的で定量化されたレシピにつながります。
  論文  参考訳（メタデータ） (2021-12-10T13:38:08Z)
• Lower Bounds on the Generalization Error of Nonlinear Learning Models [2.1030878979833467]
  本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。 偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。 線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。
  論文  参考訳（メタデータ） (2021-03-26T20:37:54Z)
• Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
  トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。 この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
  論文  参考訳（メタデータ） (2021-03-10T11:39:14Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。