論文の概要: Large scale analysis of generalization error in learning using margin based classification methods

• arxiv url: http://arxiv.org/abs/2007.10112v1
• Date: Thu, 16 Jul 2020 20:31:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 23:00:54.771018
• Title: Large scale analysis of generalization error in learning using margin based classification methods
• Title（参考訳）: 差分分類法による学習における一般化誤差の大規模解析
• Authors: Hanwen Huang and Qinglong Yang
• Abstract要約: サンプルサイズ$n$と次元$p$の両方の極限で、大マルジン分類器の族を一般化誤差とする式を導出する。 2層ニューラルネットワークでは、最近開発された2重降下現象をいくつかの分類モデルで再現する。
• 参考スコア（独自算出の注目度）: 2.436681150766912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-margin classifiers are popular methods for classification. We derive the asymptotic expression for the generalization error of a family of large-margin classifiers in the limit of both sample size $n$ and dimension $p$ going to $\infty$ with fixed ratio $\alpha=n/p$. This family covers a broad range of commonly used classifiers including support vector machine, distance weighted discrimination, and penalized logistic regression. Our result can be used to establish the phase transition boundary for the separability of two classes. We assume that the data are generated from a single multivariate Gaussian distribution with arbitrary covariance structure. We explore two special choices for the covariance matrix: spiked population model and two layer neural networks with random first layer weights. The method we used for deriving the closed-form expression is from statistical physics known as the replica method. Our asymptotic results match simulations already when $n,p$ are of the order of a few hundreds. For two layer neural networks, we reproduce the recently developed `double descent' phenomenology for several classification models. We also discuss some statistical insights that can be drawn from these analysis.
• Abstract（参考訳）: 大きなマージン分類器は分類の一般的な方法である。 サンプルサイズ $n$ と次元 $p$ の両方の限界において、大マージン分類器のファミリーの一般化誤差に対する漸近的表現を導出し、固定比 $\alpha=n/p$ で$\infty$ となる。 このファミリーは、サポートベクターマシン、距離重み付き識別、ペナル化ロジスティック回帰など、広く使われている分類器を幅広くカバーしている。 この結果は2つのクラスの分離性のための相転移境界の確立に利用できる。 データは任意の共分散構造を持つ単一の多変量ガウス分布から生成されると仮定する。 共分散行列には、スパイク人口モデルとランダムな第1層重みを持つ2層ニューラルネットワークの2つの特別な選択を探索する。 閉形式表現の導出に用いた手法は、レプリカ法として知られる統計物理学によるものである。 我々の漸近的な結果は、既に$n,p$が数百のオーダーである場合のシミュレーションと一致する。 2層ニューラルネットワークでは,最近開発された「二重降下」現象を複数の分類モデルで再現した。 これらの分析から得られる統計的知見についても論じる。

関連論文リスト

• How many classifiers do we need? [50.69951049206484]
  分類器間の不一致と偏極が、個々の分類器を集約することで得られる性能向上とどのように関連しているかを詳細に分析する。 分類器の個数で不一致の挙動を示す。 我々の理論と主張は、様々なタイプのニューラルネットワークを用いた画像分類タスクに関する経験的な結果によって裏付けられている。
  論文  参考訳（メタデータ） (2024-11-01T02:59:56Z)
• Statistical Inference in Classification of High-dimensional Gaussian Mixture [1.2354076490479515]
  高次元極限における正規化凸分類器の一般クラスの挙動について検討する。 我々の焦点は、推定器の一般化誤差と変数選択性である。
  論文  参考訳（メタデータ） (2024-10-25T19:58:36Z)
• Universality of max-margin classifiers [10.797131009370219]
  非ガウス的特徴に対する誤分類誤差の高次元普遍性と大域化写像の役割について検討する。 特に、オーバーパラメトリゼーションしきい値と一般化誤差はより単純なモデルで計算できる。
  論文  参考訳（メタデータ） (2023-09-29T22:45:56Z)
• Revisiting Discriminative vs. Generative Classifiers: Theory and Implications [37.98169487351508]
  本論文はベイズの統計的効率に着想を得たものである。 マルチクラス$mathcalH$-consistency bound frameworkと明示的なロジスティック損失境界を示す。 様々な事前訓練されたディープビジョンモデルの実験は、データの数が増加するにつれて、ナイーブベイズは常に速く収束することを示している。
  論文  参考訳（メタデータ） (2023-02-05T08:30:42Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Bayesian Semi-supervised Multi-category Classification under Nonparanormality [2.307581190124002]
  セミ教師付き学習はラベル付きデータとラベルなしデータの両方を使用するモデルトレーニング手法である。 本稿では,任意のカテゴリ分類問題に適用可能なベイズ半教師付き学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-11T21:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。