論文の概要: Balanced Data, Imbalanced Spectra: Unveiling Class Disparities with Spectral Imbalance

• arxiv url: http://arxiv.org/abs/2402.11742v2
• Date: Mon, 3 Jun 2024 14:09:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 18:33:51.105938
• Title: Balanced Data, Imbalanced Spectra: Unveiling Class Disparities with Spectral Imbalance
• Title（参考訳）: バランスデータ、不均衡スペクトル:スペクトル不均衡を伴うクラス格差を解消する
• Authors: Chiraag Kaushik, Ran Liu, Chi-Heng Lin, Amrit Khera, Matthew Y Jin, Wenrui Ma, Vidya Muthukumar, Eva L Dyer,
• Abstract要約: クラス格差の潜在的な源として,特徴量におけるスペクトル不均衡の概念を導入する。 高次元混合モデル設定におけるクラスごとの誤差の正確な式を導出する。 我々はこの現象を11種類の最先端事前訓練エンコーダで研究した。
• 参考スコア（独自算出の注目度）: 11.924440950433658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classification models are expected to perform equally well for different classes, yet in practice, there are often large gaps in their performance. This issue of class bias is widely studied in cases of datasets with sample imbalance, but is relatively overlooked in balanced datasets. In this work, we introduce the concept of spectral imbalance in features as a potential source for class disparities and study the connections between spectral imbalance and class bias in both theory and practice. To build the connection between spectral imbalance and class gap, we develop a theoretical framework for studying class disparities and derive exact expressions for the per-class error in a high-dimensional mixture model setting. We then study this phenomenon in 11 different state-of-the-art pretrained encoders and show how our proposed framework can be used to compare the quality of encoders, as well as evaluate and combine data augmentation strategies to mitigate the issue. Our work sheds light on the class-dependent effects of learning, and provides new insights into how state-of-the-art pretrained features may have unknown biases that can be diagnosed through their spectra.
• Abstract（参考訳）: 分類モデルは、異なるクラスで同じように機能することが期待されているが、実際には、パフォーマンスに大きなギャップがしばしばある。 このクラスバイアスの問題はサンプル不均衡のデータセットでは広く研究されているが、バランスの取れたデータセットでは比較的見過ごされている。 本研究では,特徴量におけるスペクトル不均衡の概念をクラス不均衡の潜在的源として導入し,スペクトル不均衡とクラス偏差の関係について考察する。 スペクトル不均衡とクラスギャップの関連性を構築するため,高次元混合モデルにおけるクラス間誤差の正確な表現を導出する理論的枠組みを構築した。 次に、この現象を11種類の最先端事前訓練エンコーダで研究し、提案したフレームワークを用いてエンコーダの品質を比較し、データ拡張戦略を評価して問題を緩和する方法を示す。 我々の研究は、学習のクラス依存的な効果に光を当て、最新の最先端の事前訓練された特徴が、スペクトルを通して診断できる未知のバイアスを持つ可能性があるという新たな洞察を提供する。

関連論文リスト

• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• Rethinking Class Imbalance in Machine Learning [1.4467794332678536]
  不均衡学習は、クラス不均衡の存在下での学習タスクに焦点を当てた機械学習のサブフィールドである。 本研究では,機械学習におけるクラス不均衡の新しい分類法を提案する。 比例, 分散, 距離不均衡が同時に存在する場合に, 対数摂動に基づく新たな不均衡学習損失を提案する。
  論文  参考訳（メタデータ） (2023-05-06T02:36:39Z)
• Class-Balancing Diffusion Models [57.38599989220613]
  クラスバランシング拡散モデル(CBDM)は、分散調整正規化器をソリューションとして訓練する。 提案手法は,CIFAR100/CIFAR100LTデータセットで生成結果をベンチマークし,下流認識タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-30T20:00:14Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• Phased Progressive Learning with Coupling-Regulation-Imbalance Loss for Imbalanced Classification [11.673344551762822]
  ディープニューラルネットワークは、一般に、異なるクラス間の量不均衡と分類困難の不均衡に苦しむデータセットで性能が良くない。 表象学習から上位クラス化学習への学習強調を円滑に伝達する段階的な進行学習スケジュールが提案された。 私たちのコードはまもなくオープンソースになります。
  論文  参考訳（メタデータ） (2022-05-24T14:46:39Z)
• Balanced-MixUp for Highly Imbalanced Medical Image Classification [19.338350044289736]
  そこで本研究では,MixUp正則化手法に基づくトレーニングデータをサンプリングする新しいメカニズムを提案する。 我々は、高不均衡な網膜画像のデータセットと、胃腸内ビデオフレームの長いテールデータセットを実験した。
  論文  参考訳（メタデータ） (2021-09-20T21:31:31Z)
• Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
  観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。 近年の文献では、この目標を達成するために表現学習を探求している。 因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-23T19:06:03Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。