論文の概要: Universality of Benign Overfitting in Binary Linear Classification

• arxiv url: http://arxiv.org/abs/2501.10538v1
• Date: Fri, 17 Jan 2025 20:22:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:24:15.899591
• Title: Universality of Benign Overfitting in Binary Linear Classification
• Title（参考訳）: バイナリ線形分類における良性オーバーフィッティングの普遍性
• Authors: Ichiro Hashimoto, Stanislav Volgushev, Piotr Zwiernik,
• Abstract要約: 深層ニューラルネットワークは、過度にパラメータ化された状態において、うまく一般化しているようだ。 現在、様々な古典的な統計モデルにも良性過剰適合が生じることが知られている。
• 参考スコア（独自算出の注目度）: 1.6385815610837167
• License:
• Abstract: The practical success of deep learning has led to the discovery of several surprising phenomena. One of these phenomena, that has spurred intense theoretical research, is ``benign overfitting'': deep neural networks seem to generalize well in the over-parametrized regime even though the networks show a perfect fit to noisy training data. It is now known that benign overfitting also occurs in various classical statistical models. For linear maximum margin classifiers, benign overfitting has been established theoretically in a class of mixture models with very strong assumptions on the covariate distribution. However, even in this simple setting, many questions remain open. For instance, most of the existing literature focuses on the noiseless case where all true class labels are observed without errors, whereas the more interesting noisy case remains poorly understood. We provide a comprehensive study of benign overfitting for linear maximum margin classifiers. We discover a phase transition in test error bounds for the noisy model which was previously unknown and provide some geometric intuition behind it. We further considerably relax the required covariate assumptions in both, the noisy and noiseless case. Our results demonstrate that benign overfitting of maximum margin classifiers holds in a much wider range of scenarios than was previously known and provide new insights into the underlying mechanisms.
• Abstract（参考訳）: ディープラーニングの実践的な成功は、いくつかの驚くべき現象の発見につながった。 深層ニューラルネットワークは、ノイズの多いトレーニングデータに完全に適合しているにもかかわらず、過度にパラメータ化された状態において、うまく一般化しているように見える。 現在、様々な古典的な統計モデルにも良性過剰適合が生じることが知られている。 線形最大マージン分類器について、良性オーバーフィッティングは、共変量分布に非常に強い仮定を持つ混合モデルのクラスで理論的に確立されている。 しかし、この単純な設定であっても、多くの疑問は未解決のままである。 例えば、既存の文献のほとんどは、すべての真のクラスラベルがエラーなしで観察されるノイズレスケースに焦点を当てているが、より興味深いノイズのあるケースは理解されていない。 線形最大マージン分類器に対する良性オーバーフィッティングの総合的研究について述べる。 我々は、これまで未知であった雑音モデルに対するテスト誤差境界の位相遷移を発見し、その背後に幾らかの幾何学的直観を与える。 さらに、ノイズやノイズのないケースにおいて、必要な共変量仮定をさらに緩和する。 以上の結果から,最大マージン分類器の良性過剰適合は,これまでに知られていたよりもはるかに広い範囲のシナリオに存在し,その基盤となるメカニズムに関する新たな知見が得られている。

関連論文リスト

• Gentle robustness implies Generalization [1.2630732866686982]
  モデルに依存し、既存のロバスト性に基づくものよりも確実に厳密な、新しい境界のクラスを提示する。 以前のものとは異なり、我々の境界はサンプルの数が増えるにつれて最良の分類器の真の誤差に収束することが保証される。 我々はさらに広範な実験を行い、ImageNetから事前訓練された大規模なディープニューラルネットワークでは、2つの境界がしばしば空白でないことを発見した。
  論文  参考訳（メタデータ） (2024-12-09T10:59:39Z)
• On The Relationship between Visual Anomaly-free and Anomalous Representations [0.0]
  異常検出はコンピュータビジョンにおいて重要な問題であり、様々な現実の応用がある。 本稿では,本研究の要旨として,正規サンプルの異常のない視覚パターンの空間が,クラス固有の異常サンプルの様々な異常パターンの空間とよく相関していることを示す。
  論文  参考訳（メタデータ） (2024-10-09T06:18:53Z)
• Centrality and Consistency: Two-Stage Clean Samples Identification for Learning with Instance-Dependent Noisy Labels [87.48541631675889]
  本稿では,2段階のクリーンサンプル識別手法を提案する。 まず,クリーンサンプルの早期同定にクラスレベルの特徴クラスタリング手法を用いる。 次に, 基底真理クラス境界に近い残余のクリーンサンプルについて, 一貫性に基づく新しい分類法を提案する。
  論文  参考訳（メタデータ） (2022-07-29T04:54:57Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures [100.55816326422773]
  線形分類問題に対する最大マージン分類器の現象について検討する。 その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
  論文  参考訳（メタデータ） (2021-04-28T08:25:16Z)
• Entropy-Based Uncertainty Calibration for Generalized Zero-Shot Learning [49.04790688256481]
  一般化ゼロショット学習(GZSL)の目的は、目に見えないクラスと見えないクラスの両方を認識することである。 ほとんどのGZSLメソッドは、通常、見えないクラスの意味情報から視覚表現を合成することを学ぶ。 本論文では,三重項損失を持つ2重変分オートエンコーダを利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-09T05:21:27Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。