論文の概要: Align, Distill, and Augment Everything All at Once for Imbalanced Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2306.04621v1
• Date: Wed, 7 Jun 2023 17:50:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 13:02:00.973370
• Title: Align, Distill, and Augment Everything All at Once for Imbalanced Semi-Supervised Learning
• Title（参考訳）: 不均衡なセミスーパービジョン学習のためのアライメント、ディスタンス、拡張
• Authors: Emanuel Sanchez Aimar and Hannah Helgesen and Michael Felsberg and Marco Kuhlmann
• Abstract要約: 本稿では,バランスの取れた分布に先立って,動的に推定された未ラベルから分類器を段階的に整列させるフレキシブルな分布アライメントを提案する。 また,しきい値に基づく手法で破棄された疑似ラベルを不確実に活用するソフト一貫性正規化を提案する。 私たちのフレームワークは追加のトレーニングサイクルを必要としないので、すべてを一度に調整し、蒸留し、拡張します(ADALLO)。
• 参考スコア（独自算出の注目度）: 13.194151879344487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Addressing the class imbalance in long-tailed semi-supervised learning (SSL) poses a few significant challenges stemming from differences between the marginal distributions of unlabeled data and the labeled data, as the former is often unknown and potentially distinct from the latter. The first challenge is to avoid biasing the pseudo-labels towards an incorrect distribution, such as that of the labeled data or a balanced distribution, during training. However, we still wish to ensure a balanced unlabeled distribution during inference, which is the second challenge. To address both of these challenges, we propose a three-faceted solution: a flexible distribution alignment that progressively aligns the classifier from a dynamically estimated unlabeled prior towards a balanced distribution, a soft consistency regularization that exploits underconfident pseudo-labels discarded by threshold-based methods, and a schema for expanding the unlabeled set with input data from the labeled partition. This last facet comes in as a response to the commonly-overlooked fact that disjoint partitions of labeled and unlabeled data prevent the benefits of strong data augmentation on the labeled set. Our overall framework requires no additional training cycles, so it will align, distill, and augment everything all at once (ADALLO). Our extensive evaluations of ADALLO on imbalanced SSL benchmark datasets, including CIFAR10-LT, CIFAR100-LT, and STL10-LT with varying degrees of class imbalance, amount of labeled data, and distribution mismatch, demonstrate significant improvements in the performance of imbalanced SSL under large distribution mismatch, as well as competitiveness with state-of-the-art methods when the labeled and unlabeled data follow the same marginal distribution. Our code will be released upon paper acceptance.
• Abstract（参考訳）: 長い尾を持つ半教師付き学習(SSL)におけるクラス不均衡に対処することは、ラベル付きデータの限界分布とラベル付きデータの差に起因するいくつかの重大な課題を引き起こす。 最初の課題は、トレーニング中にラベル付きデータやバランスの取れた分散などの誤った分布に擬似ラベルをバイアスすることを避けることである。 しかしながら、推論中にバランスのとれた非ラベル分布を確保したいと願っています。 これら2つの課題に対処するために,バランスの取れた分布に向けて動的に推定された未ラベルから段階的に分類器を整列するフレキシブルな分布アライメント,しきい値ベースで破棄された疑似ラベルを不確実に活用するソフト一貫性正規化,ラベル付き分割から入力データで未ラベル集合を拡張するスキーマ,という3面の解を提案する。 この最後のファセットは、ラベル付きデータとラベルなしデータの分離がラベル付きセットの強いデータ拡張の利点を防いでいるという、見過ごされがちな事実に対する反応として現れる。 私たちのフレームワーク全体は、追加のトレーニングサイクルを必要としないので、すべてを一度に調整、蒸留、拡張します(ADALLO)。 CIFAR10-LT, CIFAR100-LT, STL10-LTなど, クラス不均衡度, ラベル付きデータの量, 分散ミスマッチなどの不均衡なSSLベンチマークデータセットに対するADALLOの広範な評価は, 大規模な分散ミスマッチの下での不均衡なSSLの性能を著しく向上し, ラベル付きデータとラベル付きデータとラベル付きデータとの競合性が同じ限界分布に沿っていることを示す。 私たちのコードは受理後に公開される。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
  半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。 SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。 TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-26T21:50:30Z)
• Learning Label Refinement and Threshold Adjustment for Imbalanced Semi-Supervised Learning [6.904448748214652]
  半教師付き学習アルゴリズムは、不均衡なトレーニングデータに晒された場合、うまく機能しない。 Validation Data(SEVAL)に基づく擬似ラベル最適化によるセミ教師あり学習について紹介する。 SEVALは、擬似ラベルの精度を改善して特定のタスクに適応し、クラスごとに擬似ラベルの正確性を保証する。
  論文  参考訳（メタデータ） (2024-07-07T13:46:22Z)
• Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
  textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。 トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。 非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
  論文  参考訳（メタデータ） (2023-12-27T15:06:36Z)
• Learning in Imperfect Environment: Multi-Label Classification with Long-Tailed Distribution and Partial Labels [53.68653940062605]
  新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。 その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。 textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
  論文  参考訳（メタデータ） (2023-04-20T20:05:08Z)
• BiSTF: Bilateral-Branch Self-Training Framework for Semi-Supervised Large-scale Fine-Grained Recognition [28.06659482245647]
  半教師付きファイングラインド認識は、データ不均衡、高いクラス間類似性、ドメインミスマッチによる課題である。 本稿では,バイラテラルブランチ・セルフトレーニング・フレームワーク (Bilateral-Branch Self-Training Framework, BiSTF) を提案する。 BiSTFはSemi-iNatデータセット上で既存の最先端SSLよりも優れています。
  論文  参考訳（メタデータ） (2021-07-14T15:28:54Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。