論文の概要: Provable Tempered Overfitting of Minimal Nets and Typical Nets

• arxiv url: http://arxiv.org/abs/2410.19092v1
• Date: Thu, 24 Oct 2024 18:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:52.441311
• Title: Provable Tempered Overfitting of Minimal Nets and Typical Nets
• Title（参考訳）: 極小ネットと典型ネットの温熱オーバーフィッティング
• Authors: Itamar Harel, William M. Hoza, Gal Vardi, Itay Evron, Nathan Srebro, Daniel Soudry,
• Abstract要約: 完全連結深部ニューラルネットワーク(NN)の過適合挙動について検討する。 最小のNN(最小の重みを持つ)とランダム補間NNを併用することを検討する。 両方の学習ルールに対して、過剰適合が誘惑的であることを証明します。
• 参考スコア（独自算出の注目度）: 42.995653381420595
• License:
• Abstract: We study the overfitting behavior of fully connected deep Neural Networks (NNs) with binary weights fitted to perfectly classify a noisy training set. We consider interpolation using both the smallest NN (having the minimal number of weights) and a random interpolating NN. For both learning rules, we prove overfitting is tempered. Our analysis rests on a new bound on the size of a threshold circuit consistent with a partial function. To the best of our knowledge, ours are the first theoretical results on benign or tempered overfitting that: (1) apply to deep NNs, and (2) do not require a very high or very low input dimension.
• Abstract（参考訳）: 本研究では,完全連結深部ニューラルネットワーク(NN)の重み付き重み付けによる重み付け動作について検討した。 最小のNN(最小の重みを持つ)とランダム補間NN(ランダム補間NN)の両方を用いて補間を考える。 両方の学習ルールに対して、過剰適合が誘惑的であることを証明します。 我々の分析は、部分関数と整合したしきい値回路のサイズに新しい境界が依存している。 私たちの知識を最大限に活用するために、我々は、(1)ディープNNに適用し、(2)非常に高いまたは非常に低い入力次元を必要としない、良心的または誘惑的な過剰適合に関する最初の理論的結果である。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive? [16.105097124039602]
  古典的非パラメトリック回帰問題のレンズからニューラルネットワーク(NN)の理論を研究する。 私たちの研究は、なぜ深さが重要なのか、そしてNNがカーネルメソッドよりも強力であるかについて、新たな光を当てています。
  論文  参考訳（メタデータ） (2022-04-20T17:55:16Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Geometric Path Enumeration for Equivalence Verification of Neural Networks [2.007262412327553]
  2つのNNが等価な振る舞いを示すことを示すことを目的としたNN等価性の形式的検証問題に焦点をあてる。 理論的には、epsilon-equivalence問題はcoNP完全であることを示す。 第3のステップでは、等価性検証のための拡張アルゴリズムを実装し、その実用化に必要な最適化を評価する。
  論文  参考訳（メタデータ） (2021-12-13T11:56:08Z)
• On the Equivalence between Neural Network and Support Vector Machine [23.174679357972984]
  勾配降下によって訓練された無限広ニューラルネットワーク(NN)の力学は、Tangent Neural Kernel(NTK)によって特徴づけられる NNとサポートベクトルマシン(SVM)の等価性を確立する。 我々の主要な理論的結果は、NNと有限幅境界を持つ$ell$正規化KMの広いファミリーの同値性を確立することである。
  論文  参考訳（メタデータ） (2021-11-11T06:05:00Z)
• Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
  近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。 本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。 パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T00:34:55Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。