論文の概要: Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification

• arxiv url: http://arxiv.org/abs/2503.07966v1
• Date: Tue, 11 Mar 2025 01:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:52.161372
• Title: Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification
• Title（参考訳）: 二項分類における尾根回帰解の良性オーバーフィッティングと幾何
• Authors: Alexander Tsigler, Luiz F. O. Chamon, Spencer Frei, Peter L. Bartlett,
• Abstract要約: リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
• 参考スコア（独自算出の注目度）: 75.01389991485098
• License:
• Abstract: In this work, we investigate the behavior of ridge regression in an overparameterized binary classification task. We assume examples are drawn from (anisotropic) class-conditional cluster distributions with opposing means and we allow for the training labels to have a constant level of label-flipping noise. We characterize the classification error achieved by ridge regression under the assumption that the covariance matrix of the cluster distribution has a high effective rank in the tail. We show that ridge regression has qualitatively different behavior depending on the scale of the cluster mean vector and its interaction with the covariance matrix of the cluster distributions. In regimes where the scale is very large, the conditions that allow for benign overfitting turn out to be the same as those for the regression task. We additionally provide insights into how the introduction of label noise affects the behavior of the minimum norm interpolator (MNI). The optimal classifier in this setting is a linear transformation of the cluster mean vector and in the noiseless setting the MNI approximately learns this transformation. On the other hand, the introduction of label noise can significantly change the geometry of the solution while preserving the same qualitative behavior.
• Abstract（参考訳）: 本研究では,過パラメータ化二分分類タスクにおけるリッジ回帰の挙動について検討する。 異方性のある(異方性のある)クラス条件クラスタ分布からサンプルを抽出し、トレーニングラベルが一定のレベルのラベルフリップノイズを持つことを仮定する。 我々は,クラスタ分布の共分散行列が尾部において高い有効ランクを持つという仮定の下で,隆起回帰によって達成される分類誤差を特徴付ける。 リッジ回帰は, クラスタ平均ベクトルのスケールと, クラスタ分布の共分散行列との相互作用によって, 定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。 さらに,ラベルノイズの導入が最小ノルム補間器(MNI)の動作に与える影響について考察する。 この設定における最適分類器はクラスタ平均ベクトルの線形変換であり、ノイズのない設定では、MNIはこの変換をほぼ学習する。 一方、ラベルノイズの導入は、同じ定性的挙動を維持しながら解の幾何学を著しく変えることができる。

関連論文リスト

• Canonical Variates in Wasserstein Metric Space [16.668946904062032]
  We use the Wasserstein metric to measure distances between distributions, then used by distance-based classification algorithm。 我々の研究の中心は、分類精度を高めるために、ワッサーシュタイン計量空間内の次元の減少である。 本稿では,クラス間変動からクラス内変動への商として定義されたフィッシャー比を最大化する原理に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T17:59:21Z)
• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• On Robust Learning from Noisy Labels: A Permutation Layer Approach [53.798757734297986]
  本稿では、深層ニューラルネットワーク(DNN)のトレーニング過程を動的に校正するPermLLと呼ばれる置換層学習手法を提案する。 本稿では,PermLLの2つの変種について述べる。一方はモデルの予測に置換層を適用し,他方は与えられた雑音ラベルに直接適用する。 我々はPermLLを実験的に検証し、実際のデータセットと合成データセットの両方で最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2022-11-29T03:01:48Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。