論文の概要: Align, Distill, and Augment Everything All at Once for Imbalanced
Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2306.04621v1
- Date: Wed, 7 Jun 2023 17:50:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 13:02:00.973370
- Title: Align, Distill, and Augment Everything All at Once for Imbalanced
Semi-Supervised Learning
- Title(参考訳): 不均衡なセミスーパービジョン学習のためのアライメント、ディスタンス、拡張
- Authors: Emanuel Sanchez Aimar and Hannah Helgesen and Michael Felsberg and
Marco Kuhlmann
- Abstract要約: 本稿では,バランスの取れた分布に先立って,動的に推定された未ラベルから分類器を段階的に整列させるフレキシブルな分布アライメントを提案する。
また,しきい値に基づく手法で破棄された疑似ラベルを不確実に活用するソフト一貫性正規化を提案する。
私たちのフレームワークは追加のトレーニングサイクルを必要としないので、すべてを一度に調整し、蒸留し、拡張します(ADALLO)。
- 参考スコア(独自算出の注目度): 13.194151879344487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Addressing the class imbalance in long-tailed semi-supervised learning (SSL)
poses a few significant challenges stemming from differences between the
marginal distributions of unlabeled data and the labeled data, as the former is
often unknown and potentially distinct from the latter. The first challenge is
to avoid biasing the pseudo-labels towards an incorrect distribution, such as
that of the labeled data or a balanced distribution, during training. However,
we still wish to ensure a balanced unlabeled distribution during inference,
which is the second challenge. To address both of these challenges, we propose
a three-faceted solution: a flexible distribution alignment that progressively
aligns the classifier from a dynamically estimated unlabeled prior towards a
balanced distribution, a soft consistency regularization that exploits
underconfident pseudo-labels discarded by threshold-based methods, and a schema
for expanding the unlabeled set with input data from the labeled partition.
This last facet comes in as a response to the commonly-overlooked fact that
disjoint partitions of labeled and unlabeled data prevent the benefits of
strong data augmentation on the labeled set. Our overall framework requires no
additional training cycles, so it will align, distill, and augment everything
all at once (ADALLO). Our extensive evaluations of ADALLO on imbalanced SSL
benchmark datasets, including CIFAR10-LT, CIFAR100-LT, and STL10-LT with
varying degrees of class imbalance, amount of labeled data, and distribution
mismatch, demonstrate significant improvements in the performance of imbalanced
SSL under large distribution mismatch, as well as competitiveness with
state-of-the-art methods when the labeled and unlabeled data follow the same
marginal distribution. Our code will be released upon paper acceptance.
- Abstract(参考訳): 長い尾を持つ半教師付き学習(SSL)におけるクラス不均衡に対処することは、ラベル付きデータの限界分布とラベル付きデータの差に起因するいくつかの重大な課題を引き起こす。
最初の課題は、トレーニング中にラベル付きデータやバランスの取れた分散などの誤った分布に擬似ラベルをバイアスすることを避けることである。
しかしながら、推論中にバランスのとれた非ラベル分布を確保したいと願っています。
これら2つの課題に対処するために,バランスの取れた分布に向けて動的に推定された未ラベルから段階的に分類器を整列するフレキシブルな分布アライメント,しきい値ベースで破棄された疑似ラベルを不確実に活用するソフト一貫性正規化,ラベル付き分割から入力データで未ラベル集合を拡張するスキーマ,という3面の解を提案する。
この最後のファセットは、ラベル付きデータとラベルなしデータの分離がラベル付きセットの強いデータ拡張の利点を防いでいるという、見過ごされがちな事実に対する反応として現れる。
私たちのフレームワーク全体は、追加のトレーニングサイクルを必要としないので、すべてを一度に調整、蒸留、拡張します(ADALLO)。
CIFAR10-LT, CIFAR100-LT, STL10-LTなど, クラス不均衡度, ラベル付きデータの量, 分散ミスマッチなどの不均衡なSSLベンチマークデータセットに対するADALLOの広範な評価は, 大規模な分散ミスマッチの下での不均衡なSSLの性能を著しく向上し, ラベル付きデータとラベル付きデータとラベル付きデータとの競合性が同じ限界分布に沿っていることを示す。
私たちのコードは受理後に公開される。
関連論文リスト
- Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。
トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。
非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
論文 参考訳(メタデータ) (2023-12-27T15:06:36Z) - Learning in Imperfect Environment: Multi-Label Classification with
Long-Tailed Distribution and Partial Labels [53.68653940062605]
新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。
その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。
textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
論文 参考訳(メタデータ) (2023-04-20T20:05:08Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳(メタデータ) (2023-01-26T03:53:25Z) - Class-Imbalanced Complementary-Label Learning via Weighted Loss [8.934943507699131]
補完ラベル学習(Complementary-label Learning, CLL)は、弱い教師付き分類において広く用いられている。
クラス不均衡のトレーニングサンプルに直面すると、現実世界のデータセットでは大きな課題に直面します。
多クラス分類のためのクラス不均衡補完ラベルからの学習を可能にする新しい問題設定を提案する。
論文 参考訳(メタデータ) (2022-09-28T16:02:42Z) - Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。
既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。
本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
論文 参考訳(メタデータ) (2022-07-28T02:15:47Z) - Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced
Semi-Supervised Learning [80.05441565830726]
本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。
本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。
不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
論文 参考訳(メタデータ) (2021-06-10T11:58:25Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳(メタデータ) (2021-05-22T18:07:56Z) - Distribution Aligning Refinery of Pseudo-label for Imbalanced
Semi-supervised Learning [126.31716228319902]
Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。
DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
論文 参考訳(メタデータ) (2020-07-17T09:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。