論文の概要: Label-Imbalanced and Group-Sensitive Classification under Overparameterization

• arxiv url: http://arxiv.org/abs/2103.01550v1
• Date: Tue, 2 Mar 2021 08:09:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 17:13:15.250151
• Title: Label-Imbalanced and Group-Sensitive Classification under Overparameterization
• Title（参考訳）: 過パラメータ化下におけるラベル不均衡とグループ感性分類
• Authors: Ganesh Ramachandra Kini, Orestis Paraskevas, Samet Oymak and Christos Thrampoulidis
• Abstract要約: ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
• 参考スコア（独自算出の注目度）: 32.923780772605596
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Label-imbalanced and group-sensitive classification seeks to appropriately modify standard training algorithms to optimize relevant metrics such as balanced error and/or equal opportunity. For label imbalances, recent works have proposed a logit-adjusted loss modification to standard empirical risk minimization. We show that this might be ineffective in general and, in particular so, in the overparameterized regime where training continues in the zero training-error regime. Specifically for binary linear classification of a separable dataset, we show that the modified loss converges to the max-margin SVM classifier despite the logit adjustment. Instead, we propose a more general vector-scaling loss that directly relates to the cost-sensitive SVM (CS-SVM), thus favoring larger margin to the minority class. Through an insightful sharp asymptotic analysis for a Gaussian-mixtures data model, we demonstrate the efficacy of CS-SVM in balancing the errors of the minority/majority classes. Our analysis also leads to a simple strategy for optimally tuning the involved margin-ratio parameter. Then, we show how our results extend naturally to binary classification with sensitive groups, thus treating the two common types of imbalances (label/group) in a unifying way. We corroborate our theoretical findings with numerical experiments on both synthetic and real-world datasets.
• Abstract（参考訳）: label-imbalanced and group-sensitive classificationは、標準トレーニングアルゴリズムを適切に修正して、バランスのとれたエラーや機会の均等さといった関連するメトリクスを最適化しようとする。 ラベルの不均衡に対する最近の研究は、標準的な経験的リスク最小化のためのロジット調整された損失修正を提案している。 これは一般には効果がなく、訓練がゼロの訓練・テロ体制で継続する過度にパラメータ化された体制では特にそうである。 特に分離可能なデータセットのバイナリ線形分類では、修正された損失がロジット調整にもかかわらずmax-margin svm分類器に収束することを示す。 代わりに、コストに敏感なsvm(cs-svm)に直接関係するより一般的なベクトルスケーリングの損失を提案し、マイノリティクラスにより大きなマージンを与える。 ガウス混合データモデルに対する鋭い漸近解析を通じて、マイノリティクラスとマイノリティクラスのエラーのバランスをとるCS-SVMの有効性を実証する。 また,本解析はマージン比パラメータを最適に調整するための簡易な手法も導出する。 そこで本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 2つの分類にどのように拡張するかを示す。 我々は, 合成および実世界の両方のデータセットに関する数値実験により, 理論的知見を裏付ける。

関連論文リスト

• Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
  クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。 我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。 極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
  論文  参考訳（メタデータ） (2024-08-30T10:49:33Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• An extended asymmetric sigmoid with Perceptron (SIGTRON) for imbalanced linear classification [0.0]
  本稿では、SIGTRONと呼ばれる新しいパラメータ化シグモノイドと、SIGTRON不均衡分類(SIC)モデルと呼ばれる同伴凸モデルを提案する。 従来の$pi$重み付きコスト依存学習モデルとは対照的に、SICモデルは損失関数に外部の$pi$重みを持たない。 提案したSICモデルは,データセットのバリエーションに適応可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-26T13:14:17Z)
• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations [59.24031936150582]
  豪華な相関関係は、堅牢な機械学習にとって大きな課題となる。 経験的リスク最小化(ERM)で訓練されたモデルは、クラスラベルとスプリアス属性の相関に依存することを学習することができる。 CNC(Correct-N-Contrast, Correct-N-Contrast)を提案する。
  論文  参考訳（メタデータ） (2022-03-03T05:03:28Z)
• Robust Neural Network Classification via Double Regularization [2.41710192205034]
  本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。 我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
  論文  参考訳（メタデータ） (2021-12-15T13:19:20Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
  サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。 我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。 このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
  論文  参考訳（メタデータ） (2021-02-23T20:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。