論文の概要: BEM: Balanced and Entropy-based Mix for Long-Tailed Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2404.01179v1
• Date: Mon, 1 Apr 2024 15:31:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:05:48.889827
• Title: BEM: Balanced and Entropy-based Mix for Long-Tailed Semi-Supervised Learning
• Title（参考訳）: BEM:Long-Tailed Semi-Supervised Learningのためのバランスとエントロピーに基づくミックス
• Authors: Hongwei Zheng, Linyuan Zhou, Han Li, Jinming Su, Xiaoming Wei, Xiaoming Xu,
• Abstract要約: 本稿では,データ量と不確実性の両方のクラス分布を再均衡させる手法として,Ba balanced and Entropy-based Mix (BEM)を提案する。 実験の結果、BEMは様々なLTSSLフレームワークを大幅に強化し、複数のベンチマークで最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 21.53320689054414
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Data mixing methods play a crucial role in semi-supervised learning (SSL), but their application is unexplored in long-tailed semi-supervised learning (LTSSL). The primary reason is that the in-batch mixing manner fails to address class imbalance. Furthermore, existing LTSSL methods mainly focus on re-balancing data quantity but ignore class-wise uncertainty, which is also vital for class balance. For instance, some classes with sufficient samples might still exhibit high uncertainty due to indistinguishable features. To this end, this paper introduces the Balanced and Entropy-based Mix (BEM), a pioneering mixing approach to re-balance the class distribution of both data quantity and uncertainty. Specifically, we first propose a class balanced mix bank to store data of each class for mixing. This bank samples data based on the estimated quantity distribution, thus re-balancing data quantity. Then, we present an entropy-based learning approach to re-balance class-wise uncertainty, including entropy-based sampling strategy, entropy-based selection module, and entropy-based class balanced loss. Our BEM first leverages data mixing for improving LTSSL, and it can also serve as a complement to the existing re-balancing methods. Experimental results show that BEM significantly enhances various LTSSL frameworks and achieves state-of-the-art performances across multiple benchmarks.
• Abstract（参考訳）: データミキシングは、半教師付き学習(SSL)において重要な役割を果たすが、長い尾を持つ半教師付き学習(LTSSL)では研究されていない。 第一の理由は、バッチ内混合方式がクラス不均衡に対処できないことである。 さらに、既存のLTSSLメソッドは主にデータ量の再バランスに重点を置いているが、クラスの不確実性は無視している。 例えば、十分なサンプルを持つクラスの中には、識別不能な特徴のため、高い不確実性を示すものもある。 そこで本研究では,データ量と不確実性の両方のクラス分布を再均衡させる手法として,Ba balanced and Entropy-based Mix (BEM)を提案する。 具体的には、まず、各クラスのデータをミキシングするためのバランスの取れた混合銀行を提案する。 この銀行は、推定量分布に基づいてデータをサンプリングし、データ量を再バランスする。 次に、エントロピーに基づくサンプリング戦略、エントロピーに基づく選択モジュール、およびエントロピーに基づくクラスバランス損失を含む、クラスの不確実性を再バランスさせるためのエントロピーに基づく学習手法を提案する。 私たちのBEMはまず、LTSSLを改善するためにデータミキシングを利用します。 実験の結果、BEMは様々なLTSSLフレームワークを大幅に強化し、複数のベンチマークで最先端のパフォーマンスを実現している。

関連論文リスト

• Gradient-based Sampling for Class Imbalanced Semi-supervised Object Detection [111.0991686509715]
  半教師付き物体検出(SSOD)におけるクラス不均衡問題を,より困難なシナリオ下で検討する。 本稿では,2種類の確認バイアスの観点から,クラス不均衡問題に対処する,単純かつ効果的な勾配に基づくサンプリングフレームワークを提案する。 提案手法は,MS-COCO,MS-COCO,Object365,LVISの3種類のサブタスクにおいて,現行の非平衡物体検出器よりもクリアマージンの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-22T11:30:10Z)
• BaCon: Boosting Imbalanced Semi-supervised Learning via Balanced Feature-Level Contrastive Learning [0.9160375060389779]
  クラス不均衡半教師学習(CISSL)では、信頼できない擬似ラベルによって引き起こされるバイアスは、不均衡なデータ分布によって悪化させることができる。 提案手法は、よく設計されたコントラスト的な方法で、インスタンスの表現の分布を直接正規化する。 提案手法は, CIFAR10-LT, CIFAR100-LT, STL10-LT, SVHN-LTデータセットの包括的実験により有効性を示す。
  論文  参考訳（メタデータ） (2024-03-04T06:43:16Z)
• An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised Learning [103.65758569417702]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルのパフォーマンスを向上させるという大きな約束を示している。 我々は、ラベル付きデータとラベルなしデータの両方で不均衡なクラス分散が発生する不均衡SSLという、より現実的で困難な設定について検討する。 我々は、ラベル付きデータを擬似ラベルで単純に補うことで、データの不均衡に取り組む単純なベースライン、SimiSについて研究する。
  論文  参考訳（メタデータ） (2022-11-20T21:18:41Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• BASIL: Balanced Active Semi-supervised Learning for Class Imbalanced Datasets [14.739359755029353]
  現在の半教師付き学習(SSL)メソッドは、ラベル付きデータセットとラベルなしデータセットの両方で、各クラスで利用可能なデータポイントの数の間のバランスを前提としている。 本研究では,サブモジュール相互情報(SMI)関数をクラスごとに最適化し,アクティブな学習ループにおけるバランスの取れたデータセットを徐々に選択するアルゴリズムであるBASILを提案する。
  論文  参考訳（メタデータ） (2022-03-10T21:34:08Z)
• Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup [54.09898347820941]
  自己教師付き学習(SSL)と教師付き学習(SL)の両方のシナリオに対して,textbfScenario-textbfAgnostic textbfMixup (SAMix)を提案する。 具体的には、2つの混合クラス間の局所的な滑らかさを最適化するために、混合生成の目的関数を仮説化し、検証する。 非自明な混合サンプルを効果的に提供し、転送可能な能力を向上させるラベルフリーな生成サブネットワークを設計する。
  論文  参考訳（メタデータ） (2021-11-30T14:49:59Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)
• Class-Imbalanced Semi-Supervised Learning [33.94685366079589]
  Semi-Supervised Learning (SSL)はラベル付けの難しさを克服し、ラベルなしデータを完全に活用することで大きな成功を収めている。 本稿では,クラス不均衡データを用いた半教師あり学習(CISSL)の課題を紹介する。 本手法はCISSL環境における従来の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-02-17T07:48:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。