論文の概要: Precise Asymptotic Generalization for Multiclass Classification with Overparameterized Linear Models

• arxiv url: http://arxiv.org/abs/2306.13255v1
• Date: Fri, 23 Jun 2023 00:59:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 13:56:52.112244
• Title: Precise Asymptotic Generalization for Multiclass Classification with Overparameterized Linear Models
• Title（参考訳）: 過パラメータ線形モデルを用いた多クラス分類の高精度漸近的一般化
• Authors: David X. Wu, Anant Sahai
• Abstract要約: Subramanian et al.'22 の予想では、データポイント、特徴、クラスの数はすべて一緒になる。 我々の新しい下限は情報理論の強い逆に似ており、それらは誤分類率が0か1に近づくことを証明している。 厳密な解析の鍵はハンソン・ライトの不等式の新しい変種であり、スパースラベルの多重クラス問題に広く有用である。
• 参考スコア（独自算出の注目度）: 3.797524061306826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the asymptotic generalization of an overparameterized linear model for multiclass classification under the Gaussian covariates bi-level model introduced in Subramanian et al.~'22, where the number of data points, features, and classes all grow together. We fully resolve the conjecture posed in Subramanian et al.~'22, matching the predicted regimes for generalization. Furthermore, our new lower bounds are akin to an information-theoretic strong converse: they establish that the misclassification rate goes to 0 or 1 asymptotically. One surprising consequence of our tight results is that the min-norm interpolating classifier can be asymptotically suboptimal relative to noninterpolating classifiers in the regime where the min-norm interpolating regressor is known to be optimal. The key to our tight analysis is a new variant of the Hanson-Wright inequality which is broadly useful for multiclass problems with sparse labels. As an application, we show that the same type of analysis can be used to analyze the related multilabel classification problem under the same bi-level ensemble.
• Abstract（参考訳）: subramanian et al で導入されたガウス共変量双レベルモデルの下での多クラス分類のための超パラメータ線形モデルの漸近的一般化について検討した。 ~'22,データポイント数,機能数,クラス数がすべて一緒になる。 subramanian et al で示される予想を完全に解決する。 ~'22 一般化の予測された体制に一致する。 さらに、新しい下限は情報理論的な強い会話に似ており、誤分類率は漸近的に 0 または 1 になる。 この密接な結果から,min-norm補間分類器は,min-norm補間レグレッサが最適であることが知られている場合,非補間分類器と比較して漸近的に最適であることがわかった。 厳密な解析の鍵はハンソン・ライトの不等式の新しい変種であり、スパースラベルの多重クラス問題に広く有用である。 アプリケーションとして,同タイプの解析を用いて,関連するマルチラベル分類問題を同一のバイレベルアンサンブルで解析できることを示す。

関連論文リスト

• How many classifiers do we need? [50.69951049206484]
  分類器間の不一致と偏極が、個々の分類器を集約することで得られる性能向上とどのように関連しているかを詳細に分析する。 分類器の個数で不一致の挙動を示す。 我々の理論と主張は、様々なタイプのニューラルネットワークを用いた画像分類タスクに関する経験的な結果によって裏付けられている。
  論文  参考訳（メタデータ） (2024-11-01T02:59:56Z)
• Generalization Error Bounds for Multiclass Sparse Linear Classifiers [7.360807642941714]
  スパース多項ロジスティック回帰による高次元多クラス分類を考察する。 本稿では,ペナル化最大可能性に基づく計算可能な特徴選択手法を提案する。 特に、グローバル・スパシティ、ダブル・行ワイド・スパシティ、ロー・ランク・スパシティについて検討する。
  論文  参考訳（メタデータ） (2022-04-13T09:25:03Z)
• Soft-margin classification of object manifolds [0.0]
  単一対象の複数の出現に対応する神経集団は、神経応答空間における多様体を定義する。 そのような多様体を分類する能力は、オブジェクト認識やその他の計算タスクは多様体内の変数に無関心な応答を必要とするため、興味がある。 ソフトマージン分類器は、より大きなアルゴリズムのクラスであり、トレーニングセット外のパフォーマンスを最適化するためにアプリケーションで使われる追加の正規化パラメータを提供する。
  論文  参考訳（メタデータ） (2022-03-14T12:23:36Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation [5.98367009147573]
  2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。 その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
  論文  参考訳（メタデータ） (2021-11-13T05:19:37Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。