論文の概要: Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from
KKT Conditions for Margin Maximization
- arxiv url: http://arxiv.org/abs/2303.01462v1
- Date: Thu, 2 Mar 2023 18:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 13:07:02.600452
- Title: Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from
KKT Conditions for Margin Maximization
- Title（参考訳）: マージン最大化のためのKKT条件からの線形分類器と漏洩ReLUネットワークの優位オーバーフィッティング
- Authors: Spencer Frei and Gal Vardi and Peter L. Bartlett and Nathan Srebro
- Abstract要約: ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。
本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
- 参考スコア（独自算出の注目度）: 59.038366742773164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linear classifiers and leaky ReLU networks trained by gradient flow on the
logistic loss have an implicit bias towards solutions which satisfy the
Karush--Kuhn--Tucker (KKT) conditions for margin maximization. In this work we
establish a number of settings where the satisfaction of these KKT conditions
implies benign overfitting in linear classifiers and in two-layer leaky ReLU
networks: the estimators interpolate noisy training data and simultaneously
generalize well to test data. The settings include variants of the noisy
class-conditional Gaussians considered in previous work as well as new
distributional settings where benign overfitting has not been previously
observed. The key ingredient to our proof is the observation that when the
training data is nearly-orthogonal, both linear classifiers and leaky ReLU
networks satisfying the KKT conditions for their respective margin maximization
problems behave like a nearly uniform average of the training examples.
- Abstract（参考訳）: 線形分類器およびロジスティック損失上の勾配流によって訓練されたリークReLUネットワークは、マージン最大化のためにKKT条件を満たす解に対して暗黙の偏りを持つ。
本研究では,これらのKKT条件の満足度が線形分類器や2層リークReLUネットワークにおける良性オーバーフィットを意味するような多くの設定を確立する。
この設定には、以前の研究で考慮されたノイズの多いクラス条件ガウスの変種と、良性オーバーフィッティングがこれまで観測されなかった新しい分布設定が含まれる。
本証明の鍵となる要素は、トレーニングデータがほぼ直交である場合、各マージン最大化問題に対するKKT条件を満たす線形分類器とリークReLUネットワークの両方が、トレーニング例のほぼ一様平均として振る舞うことである。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Gradient descent provably escapes saddle points in the training of shallow ReLU networks [6.458742319938318]
我々は、関連する力学系の結果の変種、中心安定な多様体定理を証明し、そこでは正規性要求のいくつかを緩和する。
浅部ReLUおよび漏洩ReLUネットワークに対する正方積分損失関数の臨界点の詳細な検討に基づいて、勾配降下がほとんどのサドル点を下降させることを示す。
論文 参考訳（メタデータ） (2022-08-03T14:08:52Z) - Benign Overfitting without Linearity: Neural Network Classifiers Trained
by Gradient Descent for Noisy Linear Data [44.431266188350655]
勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。
ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。
線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
論文 参考訳（メタデータ） (2022-02-11T23:04:00Z) - Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。
PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文 参考訳（メタデータ） (2022-01-26T19:59:14Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Risk Bounds for Over-parameterized Maximum Margin Classification on
Sub-Gaussian Mixtures [100.55816326422773]
線形分類問題に対する最大マージン分類器の現象について検討する。
その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
論文 参考訳（メタデータ） (2021-04-28T08:25:16Z) - Binary Classification of Gaussian Mixtures: Abundance of Support
Vectors, Benign Overfitting and Regularization [39.35822033674126]
生成ガウス混合モデルに基づく二項線形分類について検討する。
後者の分類誤差に関する新しい非漸近境界を導出する。
この結果は, 確率が一定である雑音モデルに拡張される。
論文 参考訳（メタデータ） (2020-11-18T07:59:55Z) - DAGs with No Fears: A Closer Look at Continuous Optimization for
Learning Bayesian Networks [45.3591788771536]
我々はベイズネットワーク学習のためのNOTEARSという連続最適化フレームワークを再検討する。
本論文では,NOTEARSに対するKarush-Kuhn-Tucker最適条件は,自明な場合を除いて満足できないことを示す。
ローカル検索の組み合わせは、元のNOTEARSよりも正確かつ効率的である。
論文 参考訳（メタデータ） (2020-10-18T22:59:37Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z) - Finite-sample Analysis of Interpolating Linear Classifiers in the
Overparameterized Regime [16.1176305285103]
2クラス線形分類における最大マージンアルゴリズムの集団リスクに関するバウンダリを証明した。
誤分類ノイズを含むランダムデータに適用したこのアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-04-25T00:06:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。