論文の概要: Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation

• arxiv url: http://arxiv.org/abs/2106.10865v3
• Date: Tue, 11 Jul 2023 19:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 20:57:02.667524
• Title: Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation
• Title（参考訳）: 多クラス分類における便益オーバーフィッティング:全ての道路が補間に繋がる
• Authors: Ke Wang, Vidya Muthukumar, Christos Thrampoulidis
• Abstract要約: 多クラス線形分類における良性オーバーフィッティングについて検討する。 分離可能なデータに対する以下のトレーニングアルゴリズムを検討する。 MNI分類器の精度に基づいた新しい境界を導出する。
• 参考スコア（独自算出の注目度）: 39.02017410837255
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The literature on "benign overfitting" in overparameterized models has been mostly restricted to regression or binary classification; however, modern machine learning operates in the multiclass setting. Motivated by this discrepancy, we study benign overfitting in multiclass linear classification. Specifically, we consider the following training algorithms on separable data: (i) empirical risk minimization (ERM) with cross-entropy loss, which converges to the multiclass support vector machine (SVM) solution; (ii) ERM with least-squares loss, which converges to the min-norm interpolating (MNI) solution; and, (iii) the one-vs-all SVM classifier. First, we provide a simple sufficient deterministic condition under which all three algorithms lead to classifiers that interpolate the training data and have equal accuracy. When the data is generated from Gaussian mixtures or a multinomial logistic model, this condition holds under high enough effective overparameterization. We also show that this sufficient condition is satisfied under "neural collapse", a phenomenon that is observed in training deep neural networks. Second, we derive novel bounds on the accuracy of the MNI classifier, thereby showing that all three training algorithms lead to benign overfitting under sufficient overparameterization. Ultimately, our analysis shows that good generalization is possible for SVM solutions beyond the realm in which typical margin-based bounds apply.
• Abstract（参考訳）: 過パラメータ化モデルにおける「良性過剰適合」に関する文献は、回帰や二分分類に限られているが、現代の機械学習は多クラス設定で動作する。 この相違により、多クラス線形分類における良性過剰適合について検討した。 具体的には,分離可能なデータのトレーニングアルゴリズムについて考察する。 (i)クロスエントロピー損失を伴う経験的リスク最小化(ERM)は、マルチクラスサポートベクターマシン(SVM)ソリューションに収束する。 (二)最小二乗損失のERMは、min-norm補間(MNI)溶液に収束する。 (iii) 1-vs-all SVM 分類器。 まず,3つのアルゴリズムが学習データを補間し,同じ精度の分類器に導かれる,簡単な決定論的条件を提案する。 ガウス混合または多項ロジスティックモデルからデータが生成される場合、この条件は十分に有効パラメータ化される。 また,この条件が,深層ニューラルネットワークの訓練において観察される「神経崩壊」現象の下で満足できることを示す。 第2に、MNI分類器の精度に基づいた新しい境界を導出し、3つのトレーニングアルゴリズムが十分な過パラメータ化の下で良性オーバーフィットすることを示した。 最終的に、我々の分析は、典型的なマージンベース境界が適用される領域を超えて、SVMソリューションに良い一般化が可能であることを示している。

関連論文リスト

• Agnostic Learning of Mixed Linear Regressions with EM and AM Algorithms [22.79595679373698]
  混合線形回帰は統計学と機械学習においてよく研究されている問題である。 本稿では、サンプルから混合線形回帰を学習する際のより一般的な問題について考察する。 AMアルゴリズムとEMアルゴリズムは, 集団損失最小化器に収束することにより, 混合線形回帰学習につながることを示す。
  論文  参考訳（メタデータ） (2024-06-03T09:43:24Z)
• MISNN: Multiple Imputation via Semi-parametric Neural Networks [9.594714330925703]
  バイオメディカル・ソーシャル・エコノメトリー研究において、多重計算(Multiple Imputation, MI)は、欠落した価値問題に広く応用されている。 提案するMISNNは,MIの特徴選択を取り入れた,新規で効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-02T21:45:36Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Robustifying Binary Classification to Adversarial Perturbation [45.347651499585055]
  本稿では,対向摂動を伴う二分分類の問題について考察する。 データを操作する際の敵の力を考慮に入れたマックスマージン分類器に一般化を導入する。 損失関数に関するいくつかの軽微な仮定の下では、勾配降下がその方向のRM分類器に収束することを理論的に示す。
  論文  参考訳（メタデータ） (2020-10-29T07:20:37Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。