論文の概要: Class-Aware Contrastive Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2203.02261v1
• Date: Fri, 4 Mar 2022 12:18:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 15:09:24.395067
• Title: Class-Aware Contrastive Semi-Supervised Learning
• Title（参考訳）: クラス対応コントラスト学習
• Authors: Fan Yang, Kai Wu, Shuyi Zhang, Guannan Jiang, Yong Liu, Feng Zheng, Wei Zhang, Chengjie Wang, Long Zeng
• Abstract要約: 本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。 提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
• 参考スコア（独自算出の注目度）: 51.205844705156046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pseudo-label-based semi-supervised learning (SSL) has achieved great success on raw data utilization. However, its training procedure suffers from confirmation bias due to the noise contained in self-generated artificial labels. Moreover, the model's judgment becomes noisier in real-world applications with extensive out-of-distribution data. To address this issue, we propose a general method named Class-aware Contrastive Semi-Supervised Learning (CCSSL), which is a drop-in helper to improve the pseudo-label quality and enhance the model's robustness in the real-world setting. Rather than treating real-world data as a union set, our method separately handles reliable in-distribution data with class-wise clustering for blending into downstream tasks and noisy out-of-distribution data with image-wise contrastive for better generalization. Furthermore, by applying target re-weighting, we successfully emphasize clean label learning and simultaneously reduce noisy label learning. Despite its simplicity, our proposed CCSSL has significant performance improvements over the state-of-the-art SSL methods on the standard datasets CIFAR100 and STL10. On the real-world dataset Semi-iNat 2021, we improve FixMatch by 9.80% and CoMatch by 3.18%.
• Abstract（参考訳）: Pseudo-label-based semi-supervised learning (SSL)は生データ利用において大きな成功を収めている。 しかし, 自己生成型人工ラベルに含まれるノイズにより, その学習手順は確認バイアスに苦しむ。 さらに、このモデルの判断は、広範囲な分散データを持つ実世界のアプリケーションにおいてより不安定になる。 そこで本研究では,擬似ラベルの品質を向上し,実環境におけるモデルの堅牢性を高めるために,CCSSL(Class-aware Contrastive Semi-Supervised Learning)という一般的な手法を提案する。 実世界のデータを結合集合として扱うのではなく、信頼性の高い分散データとクラス毎のクラスタリングを別々に処理し、下流のタスクとノイズの多い分散データと画像のコントラストデータとをブレンドし、より良い一般化を行う。 さらに,ターゲット再重み付けの適用により,クリーンラベル学習とノイズラベル学習の同時低減を実現した。 その単純さにもかかわらず、提案したCCSSLは、標準データセットCIFAR100とSTL10の最先端SSLメソッドよりも大幅にパフォーマンスが向上した。 実世界のデータセットSemi-iNat 2021では、FixMatchを9.80%、CoMatchを3.18%改善しています。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• MaskMatch: Boosting Semi-Supervised Learning Through Mask Autoencoder-Driven Feature Learning [8.255082589733673]
  algoは、ラベルのないデータを完全に活用して、半教師付き学習を促進する新しいアルゴリズムである。 algoは自己教師型学習戦略、すなわちMasked Autoencoder(MAE)を統合する。 アルゴは、挑戦的なデータセットでそれぞれ18.71%、9.47%、3.07%の低いエラー率を達成する。
  論文  参考訳（メタデータ） (2024-05-10T03:39:54Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario [14.916971861796384]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方を利用して、モデルのパフォーマンスを向上させるフレームワークである。 既存のSSLメソッドを拡張し、特定のクラスが欠落している状況に対処するための一般的なアプローチを提案する。 実験の結果,最先端のSSL,オープンセットのSSL,オープンワールドのSSLメソッドと比較して,精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-08-27T14:25:07Z)
• Dual Class-Aware Contrastive Federated Semi-Supervised Learning [9.742389743497045]
  本稿では,FSSL(Federated Semi-Supervised Learning)手法について紹介する。 デュアルクラス対応のコントラストモジュールを実装することで、DCCFSSLは、さまざまなクライアントが大きな逸脱に対処するための統一的なトレーニング目標を確立する。 実験の結果,DCCFSSLは3つのベンチマークデータセットにおいて最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-16T13:54:31Z)
• Towards Realistic Semi-Supervised Learning [73.59557447798134]
  オープンワールド環境でSSLに取り組み、未知のクラスと未知のクラスを同時に分類する新しい手法を提案する。 我々のアプローチは、既存の最先端の7つのデータセットよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-07-05T19:04:43Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。