論文の概要: ProtoCon: Pseudo-label Refinement via Online Clustering and Prototypical Consistency for Efficient Semi-supervised Learning

• arxiv url: http://arxiv.org/abs/2303.13556v1
• Date: Wed, 22 Mar 2023 23:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 17:18:12.930326
• Title: ProtoCon: Pseudo-label Refinement via Online Clustering and Prototypical Consistency for Efficient Semi-supervised Learning
• Title（参考訳）: ProtoCon: オンラインクラスタリングによる擬似ラベルリファインメントと半教師あり学習のためのプロトタイプ一貫性
• Authors: Islam Nassar, Munawar Hayat, Ehsan Abbasnejad, Hamid Rezatofighi, Gholamreza Haffari
• Abstract要約: ProtoConは信頼性に基づく疑似ラベル作成の新しい手法である。 ProtoConのオンライン版では、データセット全体のラベル履歴を1回のトレーニングサイクルで活用することができる。 最先端のデータセットよりも大幅に向上し、より高速に収束する。
• 参考スコア（独自算出の注目度）: 60.57998388590556
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Confidence-based pseudo-labeling is among the dominant approaches in semi-supervised learning (SSL). It relies on including high-confidence predictions made on unlabeled data as additional targets to train the model. We propose ProtoCon, a novel SSL method aimed at the less-explored label-scarce SSL where such methods usually underperform. ProtoCon refines the pseudo-labels by leveraging their nearest neighbours' information. The neighbours are identified as the training proceeds using an online clustering approach operating in an embedding space trained via a prototypical loss to encourage well-formed clusters. The online nature of ProtoCon allows it to utilise the label history of the entire dataset in one training cycle to refine labels in the following cycle without the need to store image embeddings. Hence, it can seamlessly scale to larger datasets at a low cost. Finally, ProtoCon addresses the poor training signal in the initial phase of training (due to fewer confident predictions) by introducing an auxiliary self-supervised loss. It delivers significant gains and faster convergence over state-of-the-art across 5 datasets, including CIFARs, ImageNet and DomainNet.
• Abstract（参考訳）: 信頼に基づく疑似ラベルは、半教師あり学習(SSL)において支配的なアプローチの一つである。 モデルをトレーニングするための追加のターゲットとして、ラベルのないデータに対する信頼性の高い予測を含めることに依存している。 本稿では,低探索ラベルスカースSSLを対象とした新しいSSL手法であるProtoConを提案する。 プロトコンは、近接する隣人の情報を利用して擬似ラベルを洗練する。 トレーニングは、オンラインクラスタリングアプローチを使用して、プロトタイプ損失によってトレーニングされた埋め込みスペースで実行され、良好なクラスタを奨励する。 protoconのオンラインの性質は、1つのトレーニングサイクルでデータセット全体のラベル履歴を活用し、イメージ埋め込みを保存することなく、次のサイクルでラベルを洗練することができる。 したがって、低コストで、大きなデータセットにシームレスにスケールできる。 最後にprotoconは、補助的な自己教師付き損失を導入することで、トレーニングの初期段階(自信の少ない予測による)におけるトレーニング信号の不足に対処する。 CIFAR、ImageNet、DomainNetを含む5つのデータセットにまたがって、大幅な向上と最先端の収束を実現している。

関連論文リスト

• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Contrastive Credibility Propagation for Reliable Semi-Supervised Learning [6.014538614447467]
  逐次的擬似ラベルリファインメントによる深部SSLのためのコントラストCCP(Contrastive Credibility Propagation)を提案する。 CCPは、教師付きベースラインをデータシナリオで確実に上回るために、半教師付き学習とノイズの多いラベル学習を統一する。
  論文  参考訳（メタデータ） (2022-11-17T23:01:47Z)
• Deep Low-Density Separation for Semi-Supervised Classification [0.0]
  組込み機能に低密度分離を適用した新しいハイブリッド手法を提案する。 本手法は,比較的少数の手作業分類例から,何千人もの未ラベルユーザを効果的に分類する。
  論文  参考訳（メタデータ） (2022-05-22T11:00:55Z)
• CLS: Cross Labeling Supervision for Semi-Supervised Learning [9.929229055862491]
  Cross Labeling Supervision (CLS) は、典型的な擬似ラベル処理を一般化するフレームワークである。 CLSは擬似ラベルと相補ラベルの両方を作成でき、正と負の両方の学習をサポートする。
  論文  参考訳（メタデータ） (2022-02-17T08:09:40Z)
• Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation [30.688753736660725]
  疑似ラベルを生成するために,DARS法とDARS法を提案する。 我々の手法は最先端の手法と比較して好適に機能する。
  論文  参考訳（メタデータ） (2021-07-23T14:45:14Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Matching Distributions via Optimal Transport for Semi-Supervised Learning [31.533832244923843]
  SSL(Semi-Supervised Learning)アプローチは、ラベルのないデータを使用する上で、影響力のあるフレームワークである。 本稿では、離散的経験的確率測度間の類似性の指標として最適輸送(OT)手法を採用する新しい手法を提案する。 提案手法を標準データセット上で,最先端のSSLアルゴリズムを用いて評価し,SSLアルゴリズムの優位性と有効性を示す。
  論文  参考訳（メタデータ） (2020-12-04T11:15:14Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。