論文の概要: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2106.05682v1
• Date: Thu, 10 Jun 2021 11:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:43:16.163451
• Title: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning
• Title（参考訳）: 不均衡半教師付き学習のための分布対応セマンティックス指向擬似ラベル
• Authors: Youngtaek Oh, Dong-Jin Kim, In So Kweon
• Abstract要約: 本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
• 参考スコア（独自算出の注目度）: 80.05441565830726
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The capability of the traditional semi-supervised learning (SSL) methods is far from real-world application since they do not consider (1) class imbalance and (2) class distribution mismatch between labeled and unlabeled data. This paper addresses such a relatively under-explored problem, imbalanced semi-supervised learning, where heavily biased pseudo-labels can harm the model performance. Interestingly, we find that the semantic pseudo-labels from a similarity-based classifier in feature space and the traditional pseudo-labels from the linear classifier show the complementary property. To this end, we propose a general pseudo-labeling framework to address the bias motivated by this observation. The key idea is to class-adaptively blend the semantic pseudo-label to the linear one, depending on the current pseudo-label distribution. Thereby, the increased semantic pseudo-label component suppresses the false positives in the majority classes and vice versa. We term the novel pseudo-labeling framework for imbalanced SSL as Distribution-Aware Semantics-Oriented (DASO) Pseudo-label. Extensive evaluation on CIFAR10/100-LT and STL10-LT shows that DASO consistently outperforms both recently proposed re-balancing methods for label and pseudo-label. Moreover, we demonstrate that typical SSL algorithms can effectively benefit from unlabeled data with DASO, especially when (1) class imbalance and (2) class distribution mismatch exist and even on recent real-world Semi-Aves benchmark.
• Abstract（参考訳）: 従来の半教師あり学習法(SSL)は,(1)クラス不均衡を考慮せず,(2)ラベル付きデータと未ラベルデータ間のクラス分布ミスマッチを考慮していないため,実世界の応用には程遠い。 本稿では, 比較的未探索な半教師付き学習において, 擬似ラベルの偏りがモデル性能に悪影響を及ぼすような問題に対処する。 興味深いことに、類似性に基づく特徴空間の分類器からの意味的擬似ラベルと、線形分類器からの伝統的な擬似ラベルは相補性を示す。 そこで本研究では,この観測によって動機付けられたバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 鍵となる考え方は、現在の擬似ラベル分布に応じて、意味的擬似ラベルを線形にクラス適応的にブレンドすることである。 これにより、セマンティクス擬似ラベル成分の増加は、多数派クラスの偽陽性を抑制し、その逆も抑制される。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。 CIFAR10/100-LTとSTL10-LTの広範囲な評価は、DASOが最近提案したラベルと擬似ラベルの再バランス法よりも一貫して優れていることを示している。 さらに,(1)クラス不均衡や(2)クラス分布ミスマッチが存在する場合,および最近の実世界のSemi-Avesベンチマークにおいても,一般的なSSLアルゴリズムはDASOでラベル付けされていないデータを効果的に活用できることを示す。

関連論文リスト

• Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
  従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。 本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。 提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-31T03:13:45Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• CLS: Cross Labeling Supervision for Semi-Supervised Learning [9.929229055862491]
  Cross Labeling Supervision (CLS) は、典型的な擬似ラベル処理を一般化するフレームワークである。 CLSは擬似ラベルと相補ラベルの両方を作成でき、正と負の両方の学習をサポートする。
  論文  参考訳（メタデータ） (2022-02-17T08:09:40Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。