論文の概要: Max-Margin Works while Large Margin Fails: Generalization without Uniform Convergence

• arxiv url: http://arxiv.org/abs/2206.07892v1
• Date: Thu, 16 Jun 2022 02:46:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-18 13:42:40.935271
• Title: Max-Margin Works while Large Margin Fails: Generalization without Uniform Convergence
• Title（参考訳）: 大マージンフェールにおける最大マージン加工:一様収束のない一般化
• Authors: Margalit Glasgow, Colin Wei, Mary Wootters, Tengyu Ma
• Abstract要約: 既存のツールでは、テストの損失がトレーニングの損失に近いことを保証し、候補モデルのクラスを均一に制御するエム統一コンバージェンス(UC)に依存している。 Nagarajan と Kolter は、ある単純な線形および神経ネットワークの設定において、任意の一様収束境界は空であり、UC が失敗する環境での一般化の証明方法に関する疑問を解き放つことを示している。 我々は、ある信号対雑音のしきい値を超えると、これらの2つの設定でほぼテスト損失が得られないことを示す新しいタイプのマージン境界を証明した。
• 参考スコア（独自算出の注目度）: 55.26547500184405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major challenge in modern machine learning is theoretically understanding the generalization properties of overparameterized models. Many existing tools rely on \em uniform convergence \em (UC), a property that, when it holds, guarantees that the test loss will be close to the training loss, uniformly over a class of candidate models. Nagarajan and Kolter (2019) show that in certain simple linear and neural-network settings, any uniform convergence bound will be vacuous, leaving open the question of how to prove generalization in settings where UC fails. Our main contribution is proving novel generalization bounds in two such settings, one linear, and one non-linear. We study the linear classification setting of Nagarajan and Kolter, and a quadratic ground truth function learned via a two-layer neural network in the non-linear regime. We prove a new type of margin bound showing that above a certain signal-to-noise threshold, any near-max-margin classifier will achieve almost no test loss in these two settings. Our results show that near-max-margin is important: while any model that achieves at least a $(1 - \epsilon)$-fraction of the max-margin generalizes well, a classifier achieving half of the max-margin may fail terribly. We additionally strengthen the UC impossibility results of Nagarajan and Kolter, proving that \em one-sided \em UC bounds and classical margin bounds will fail on near-max-margin classifiers. Our analysis provides insight on why memorization can coexist with generalization: we show that in this challenging regime where generalization occurs but UC fails, near-max-margin classifiers simultaneously contain some generalizable components and some overfitting components that memorize the data. The presence of the overfitting components is enough to preclude UC, but the near-extremal margin guarantees that sufficient generalizable components are present.
• Abstract（参考訳）: 現代の機械学習における大きな課題は、理論上、過剰パラメータモデルの一般化特性を理解することである。 既存のツールの多くは、テストの損失がトレーニング損失に近いことを保証し、候補モデルのクラスを一様に上回る特性である \em uniform convergence \em (uc) に依存している。 Nagarajan and Kolter (2019) は、ある単純な線形および神経ネットワークの設定において、任意の一様収束境界は空であり、UCが失敗する環境での一般化の証明方法に関する疑問を解き放つことを示している。 私たちの主な貢献は、線形と非線形の2つの設定で新しい一般化境界を証明することです。 本研究では, 長良ジャンとコルターの線形分類と, 非線形状態の2層ニューラルネットワークを用いて学習した2次基底真理関数について検討した。 我々は、信号対雑音のしきい値を超える新しいタイプのマージンバウンドを証明し、この2つの設定において、任意の最大マージン分類器はテスト損失がほとんどないことを示す。 この結果から,max-margin の少なくとも $(1\epsilon)$-fraction を達成するモデルはすべて well を一般化しているが,max-margin の半分を成す分類器はひどく失敗する可能性がある。 さらに、Nagarajan と Kolter の UC の不合理性の結果を強化し、 \em の片面 \em UC 境界と古典的マージン境界が、ほぼ最大値の分類器で失敗することを証明した。 一般化が起こるが、UCが失敗するこの挑戦的な体制では、近マックスマージン分類器は、いくつかの一般化可能なコンポーネントと、データを記憶する過度なコンポーネントを同時に含んでいる。 オーバーフィッティングコンポーネントの存在はucを妨げるには十分であるが、極端に近いマージンは十分な一般化可能なコンポーネントが存在することを保証している。

関連論文リスト

• Smoothed Analysis for Learning Concepts with Low Intrinsic Dimension [17.485243410774814]
  教師付き学習の伝統的なモデルでは、学習者の目標は、あるクラスから最も適した概念の競争的($epsilon$以内)な仮説を出力することである。 学習者が最高の無知としか競合しないスムーズな分析フレームワークを導入する。 時間内に$k$-halfspacesの交点を前向きに学習する最初のアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-07-01T04:58:36Z)
• Which Features are Learnt by Contrastive Learning? On the Role of Simplicity Bias in Class Collapse and Feature Suppression [59.97965005675144]
  コントラスト学習(CL)は,ラベル管理の有無に関わらず,表現学習の強力な技術として登場した。 CLによって学習される特徴を判定する,理論的に厳密な最初の統合フレームワークを提供する。 本稿では,2つの理論的動機付けされた解として,埋め込み次元の増大とデータ拡張の質の向上について述べる。
  論文  参考訳（メタデータ） (2023-05-25T23:37:22Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
  ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。 私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。 ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:16:55Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)
• Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation [39.02017410837255]
  多クラス線形分類における良性オーバーフィッティングについて検討する。 分離可能なデータに対する以下のトレーニングアルゴリズムを検討する。 MNI分類器の精度に基づいた新しい境界を導出する。
  論文  参考訳（メタデータ） (2021-06-21T05:34:36Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Localization, Convexity, and Star Aggregation [0.0]
  オフセットラデマッハ複体は、正方形損失に対する鋭く線形依存的な上界を示すことが示されている。 統計的設定では、オフセット境界は一定の均一な凸性を満たす任意の損失に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-19T00:47:59Z)
• Robustifying Binary Classification to Adversarial Perturbation [45.347651499585055]
  本稿では,対向摂動を伴う二分分類の問題について考察する。 データを操作する際の敵の力を考慮に入れたマックスマージン分類器に一般化を導入する。 損失関数に関するいくつかの軽微な仮定の下では、勾配降下がその方向のRM分類器に収束することを理論的に示す。
  論文  参考訳（メタデータ） (2020-10-29T07:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。