論文の概要: Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures

• arxiv url: http://arxiv.org/abs/2104.13628v1
• Date: Wed, 28 Apr 2021 08:25:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 12:54:40.798466
• Title: Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures
• Title（参考訳）: サブガウス混合系における超パラメータ最大マージン分類のリスク境界
• Authors: Yuan Cao and Quanquan Gu and Mikhail Belkin
• Abstract要約: 線形分類問題に対する最大マージン分類器の現象について検討する。 その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
• 参考スコア（独自算出の注目度）: 100.55816326422773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning systems such as deep neural networks are often highly over-parameterized so that they can fit the noisy training data exactly, yet they can still achieve small test errors in practice. In this paper, we study this "benign overfitting" (Bartlett et al. (2020)) phenomenon of the maximum margin classifier for linear classification problems. Specifically, we consider data generated from sub-Gaussian mixtures, and provide a tight risk bound for the maximum margin linear classifier in the over-parameterized setting. Our results precisely characterize the condition under which benign overfitting can occur in linear classification problems, and improve on previous work. They also have direct implications for over-parameterized logistic regression.
• Abstract（参考訳）: ディープニューラルネットワークのような現代の機械学習システムは、しばしば過度にパラメータ化され、ノイズの多いトレーニングデータに正確に適合するが、実際には小さなテストエラーを達成できる。 本稿では,この「ベニグナーオーバーフィッティング(Bartlett et al)」について考察する。 (2020)) 線形分類問題に対する最大マージン分類器の現象。 具体的には、準ガウス混合から生成されたデータを考察し、過パラメータ設定における最大辺線形分類器の厳密なリスクを与える。 本研究は,線形分類問題において良性過剰が生じうる条件を正確に特徴化し,これまでの作業を改善する。 過パラメータロジスティック回帰にも直接的な意味を持つ。

関連論文リスト

• Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization [59.038366742773164]
  ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。 本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
  論文  参考訳（メタデータ） (2023-03-02T18:24:26Z)
• The Implicit Bias of Benign Overfitting [31.714928102950584]
  良性過剰適合は、予測器がほぼ最適の損失を達成しながら、ノイズの多いトレーニングデータに完全に適合する場所である。 標準的な線形回帰を超えてこれを拡張できることを示します。 そして、分類問題に目を向け、状況がずっと有利であることを示す。
  論文  参考訳（メタデータ） (2022-01-27T12:49:21Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation [39.02017410837255]
  多クラス線形分類における良性オーバーフィッティングについて検討する。 分離可能なデータに対する以下のトレーニングアルゴリズムを検討する。 MNI分類器の精度に基づいた新しい境界を導出する。
  論文  参考訳（メタデータ） (2021-06-21T05:34:36Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime [16.1176305285103]
  2クラス線形分類における最大マージンアルゴリズムの集団リスクに関するバウンダリを証明した。 誤分類ノイズを含むランダムデータに適用したこのアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-04-25T00:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。