論文の概要: Do highly over-parameterized neural networks generalize since bad solutions are rare?

• arxiv url: http://arxiv.org/abs/2211.03570v4
• Date: Sun, 3 Dec 2023 13:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 01:51:23.233397
• Title: Do highly over-parameterized neural networks generalize since bad solutions are rare?
• Title（参考訳）: 悪い解決策は稀なので、高過パラメータのニューラルネットワークは一般化するのか?
• Authors: Julius Martinetz, Thomas Martinetz
• Abstract要約: 学習のための経験的リスク最小化(ERM)は、トレーニングエラーをゼロにする。 ある条件下では、エプシロンよりも大きい真の誤差を持つ「悪い」大域最小値の分数は、訓練データ n の個数で指数関数的にゼロになる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study over-parameterized classifiers where Empirical Risk Minimization (ERM) for learning leads to zero training error. In these over-parameterized settings there are many global minima with zero training error, some of which generalize better than others. We show that under certain conditions the fraction of "bad" global minima with a true error larger than {\epsilon} decays to zero exponentially fast with the number of training data n. The bound depends on the distribution of the true error over the set of classifier functions used for the given classification problem, and does not necessarily depend on the size or complexity (e.g. the number of parameters) of the classifier function set. This insight may provide a novel perspective on the unexpectedly good generalization even of highly over-parameterized neural networks. We substantiate our theoretical findings through experiments on synthetic data and a subset of MNIST. Additionally, we assess our hypothesis using VGG19 and ResNet18 on a subset of Caltech101.
• Abstract（参考訳）: 本研究では,経験的リスク最小化(ERM)が学習誤差をゼロにする過パラメータ分類器について検討する。 このような過度なパラメータ設定では、トレーニングエラーがゼロのグローバルなミニマが多数存在する。 ある条件下では、真の誤差が {\epsilon} より大きい「悪い」大域最小値の分数は、訓練データ n の個数で指数関数的にゼロに崩壊することを示す。 境界は、与えられた分類問題に使用される分類子関数の集合上の真の誤差の分布に依存し、必ずしも分類子関数集合のサイズや複雑さ(例えばパラメータの数)に依存するとは限らない。 この洞察は、高度に超パラメータ化されたニューラルネットワークであっても、予期せぬほどよい一般化に関する新しい視点をもたらすかもしれない。 我々は、合成データとMNISTのサブセットに関する実験を通じて、理論的な知見を裏付ける。 さらに,VGG19とResNet18をCaltech101のサブセットで評価した。

関連論文リスト

• Rethinking generalization of classifiers in separable classes scenarios and over-parameterized regimes [0.0]
  分離可能なクラスでは、トレーニングデータ n の数で「悪い」大域最小値の割合が指数関数的に減少することを示す。 本稿では,MNIST と CIFAR-10 の実験と整合した学習曲線を求める,真の誤差の密度分布のモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-22T10:12:57Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Overparameterized ReLU Neural Networks Learn the Simplest Models: Neural Isometry and Exact Recovery [33.74925020397343]
  ディープラーニングは、学習パラメータが極端に多い場合でも、ニューラルネットワークが驚くほどよく一般化されていることを示している。 標準重崩壊正則化をもつ2層ReLUネットワークのトレーニングと一般化特性について考察する。 我々は,ラベルがうるさい場合でも,ReLUネットワークは単純でスパースなモデルを学ぶことを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:47:15Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Self-Regularity of Non-Negative Output Weights for Overparameterized Two-Layer Neural Networks [16.64116123743938]
  我々は、Sigmoid, rectified linear unit (ReLU) を用いた2層ニューラルネットワークの探索問題を考える。 そして、その境界を利用して、Emphfat-shattering dimensionを通じてそのようなネットワークの保証を確立する。 特に、我々の境界はサンプルの複雑さも良い(低次数$$d$のポリノミアル)。
  論文  参考訳（メタデータ） (2021-03-02T17:36:03Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。