論文の概要: Flexible Distribution Alignment: Towards Long-tailed Semi-supervised
Learning with Proper Calibration
- arxiv url: http://arxiv.org/abs/2306.04621v2
- Date: Wed, 13 Mar 2024 10:23:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 18:57:08.460690
- Title: Flexible Distribution Alignment: Towards Long-tailed Semi-supervised
Learning with Proper Calibration
- Title(参考訳): フレキシブル分布アライメント:長い尾を持つ半教師に向けて
適切な校正による学習
- Authors: Emanuel Sanchez Aimar and Hannah Helgesen and Yonghao Xu and Marco
Kuhlmann and Michael Felsberg
- Abstract要約: Longtailed semi-supervised learning (LTSSL)は、半教師付きアプリケーションのための実践的なシナリオである。
この問題は、ラベル付きとラベルなしのクラス分布の相違によってしばしば悪化する。
本稿では,新しい適応ロジット調整型損失フレームワークFlexDAを紹介する。
- 参考スコア(独自算出の注目度): 19.715262734192308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-tailed semi-supervised learning (LTSSL) represents a practical scenario
for semi-supervised applications, challenged by skewed labeled distributions
that bias classifiers. This problem is often aggravated by discrepancies
between labeled and unlabeled class distributions, leading to biased
pseudo-labels, neglect of rare classes, and poorly calibrated probabilities. To
address these issues, we introduce Flexible Distribution Alignment (FlexDA), a
novel adaptive logit-adjusted loss framework designed to dynamically estimate
and align predictions with the actual distribution of unlabeled data and
achieve a balanced classifier by the end of training. FlexDA is further
enhanced by a distillation-based consistency loss, promoting fair data usage
across classes and effectively leveraging underconfident samples. This method,
encapsulated in ADELLO (Align and Distill Everything All at Once), proves
robust against label shift, significantly improves model calibration in LTSSL
contexts, and surpasses previous state-of-of-art approaches across multiple
benchmarks, including CIFAR100-LT, STL10-LT, and ImageNet127, addressing class
imbalance challenges in semi-supervised learning. Our code will be made
available upon paper acceptance.
- Abstract(参考訳): LTSSL(Long-tailed semi-supervised learning)は、偏見分類器を歪んだラベル付き分布に挑戦する半教師付きアプリケーションのための実践的なシナリオである。
この問題はしばしばラベル付きとラベルなしのクラス分布の相違によって増大し、バイアス付き擬似ラベル、希少なクラスを無視し、校正の不十分な確率に繋がる。
このような問題に対処するために、FlexDA(Flexible Distribution Alignment)という新しい適応ロジット調整型損失フレームワークを導入し、予測をラベルなしデータの実際の分布と動的に推定・調整し、トレーニングの終了までにバランスの取れた分類器を実現する。
FlexDAは、蒸留ベースの一貫性の喪失によってさらに強化され、クラス間での公正なデータ使用を促進し、信頼性の低いサンプルを効果的に活用する。
この方法はADELLO(Align and Distill Everything All at Once)にカプセル化され、ラベルシフトに対する堅牢さを証明し、LTSSLコンテキストにおけるモデルキャリブレーションを大幅に改善し、CIFAR100-LT、STL10-LT、ImageNet127を含む複数のベンチマークで過去の最先端のアプローチを超越し、半教師付き学習におけるクラス不均衡の問題に対処する。
私たちのコードは、論文の受理時に利用可能になります。
関連論文リスト
- Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。
トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。
非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
論文 参考訳(メタデータ) (2023-12-27T15:06:36Z) - Learning in Imperfect Environment: Multi-Label Classification with
Long-Tailed Distribution and Partial Labels [53.68653940062605]
新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。
その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。
textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
論文 参考訳(メタデータ) (2023-04-20T20:05:08Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳(メタデータ) (2023-01-26T03:53:25Z) - Class-Imbalanced Complementary-Label Learning via Weighted Loss [8.934943507699131]
補完ラベル学習(Complementary-label Learning, CLL)は、弱い教師付き分類において広く用いられている。
クラス不均衡のトレーニングサンプルに直面すると、現実世界のデータセットでは大きな課題に直面します。
多クラス分類のためのクラス不均衡補完ラベルからの学習を可能にする新しい問題設定を提案する。
論文 参考訳(メタデータ) (2022-09-28T16:02:42Z) - Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。
既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。
本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
論文 参考訳(メタデータ) (2022-07-28T02:15:47Z) - Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced
Semi-Supervised Learning [80.05441565830726]
本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。
本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。
不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
論文 参考訳(メタデータ) (2021-06-10T11:58:25Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳(メタデータ) (2021-05-22T18:07:56Z) - Distribution Aligning Refinery of Pseudo-label for Imbalanced
Semi-supervised Learning [126.31716228319902]
Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。
DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
論文 参考訳(メタデータ) (2020-07-17T09:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。