論文の概要: High Dimensional Binary Classification under Label Shift: Phase Transition and Regularization

• arxiv url: http://arxiv.org/abs/2212.00700v1
• Date: Thu, 1 Dec 2022 18:06:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 17:57:50.706090
• Title: High Dimensional Binary Classification under Label Shift: Phase Transition and Regularization
• Title（参考訳）: ラベルシフト下の高次元バイナリ分類:位相遷移と正規化
• Authors: Jiahui Cheng, Minshuo Chen, Hao Liu, Tuo Zhao, Wenjing Liao
• Abstract要約: ある種の過度にパラメータ化された状態下では、不均衡なデータを用いて訓練された分類器は、バランスの取れたデータを減らすことで、それよりも優れる。 ラベルシフトに対する正規化の影響について検討する。
• 参考スコア（独自算出の注目度）: 41.88686596220179
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label Shift has been widely believed to be harmful to the generalization performance of machine learning models. Researchers have proposed many approaches to mitigate the impact of the label shift, e.g., balancing the training data. However, these methods often consider the underparametrized regime, where the sample size is much larger than the data dimension. The research under the overparametrized regime is very limited. To bridge this gap, we propose a new asymptotic analysis of the Fisher Linear Discriminant classifier for binary classification with label shift. Specifically, we prove that there exists a phase transition phenomenon: Under certain overparametrized regime, the classifier trained using imbalanced data outperforms the counterpart with reduced balanced data. Moreover, we investigate the impact of regularization to the label shift: The aforementioned phase transition vanishes as the regularization becomes strong.
• Abstract（参考訳）: ラベルシフトは機械学習モデルの一般化性能に有害であると広く信じられている。 研究者は、トレーニングデータのバランスなど、ラベルシフトの影響を軽減するための多くのアプローチを提案している。 しかし、これらの手法は、サンプルサイズがデータ次元よりもはるかに大きい、非パラメータ化されたレジームをしばしば考慮する。 オーバーパラメトリライズド・レジームの研究は非常に限られている。 このギャップを埋めるために,ラベルシフトを伴うバイナリ分類のためのフィッシャー線形判別分類器の漸近解析を提案する。 特に,位相遷移現象が存在することを証明している。ある過パラメータ化状態下では,不均衡データを用いて訓練された分類器は,バランスのとれたデータで比較される。 さらに, ラベルシフトに対する正規化の影響について検討する: 上記の相転移は, 正規化が強まるにつれて消滅する。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)
• Dual T: Reducing Estimation Error for Transition Matrix in Label-noise Learning [157.2709657207203]
  遷移行列を推定する既存の方法は、ノイズのあるクラス後部を推定することに大きく依存している。 雑音のクラス後部を直接推定するのを避けるために中間クラスを導入する。 この中間クラスにより、元の遷移行列は2つの容易に推定できる遷移行列の積に分解できる。
  論文  参考訳（メタデータ） (2020-06-14T05:48:20Z)
• Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
  本研究では,新しいメタ遷移学習戦略を提案する。 具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。 本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
  論文  参考訳（メタデータ） (2020-06-10T07:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。