論文の概要: Boosting Semi-Supervised Learning with Contrastive Complementary Labeling

• arxiv url: http://arxiv.org/abs/2212.06643v1
• Date: Tue, 13 Dec 2022 15:25:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 14:55:20.830673
• Title: Boosting Semi-Supervised Learning with Contrastive Complementary Labeling
• Title（参考訳）: 相補ラベルを用いた半教師付き学習の促進
• Authors: Qinyi Deng, Yong Guo, Zhibang Yang, Haolin Pan, Jian Chen
• Abstract要約: 一般的なアプローチは擬似ラベル作成であり、信頼度の高いラベル付きデータに対してのみ擬似ラベルを生成する。 信頼度が低い擬似ラベルを持つデータは、トレーニングプロセスにまだ有効である可能性があることを強調する。 そこで本研究では,多数の信頼な負対を構成する新しいコントラスト補完ラベリング法を提案する。
• 参考スコア（独自算出の注目度）: 11.851898765002334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised learning (SSL) has achieved great success in leveraging a large amount of unlabeled data to learn a promising classifier. A popular approach is pseudo-labeling that generates pseudo labels only for those unlabeled data with high-confidence predictions. As for the low-confidence ones, existing methods often simply discard them because these unreliable pseudo labels may mislead the model. Nevertheless, we highlight that these data with low-confidence pseudo labels can be still beneficial to the training process. Specifically, although the class with the highest probability in the prediction is unreliable, we can assume that this sample is very unlikely to belong to the classes with the lowest probabilities. In this way, these data can be also very informative if we can effectively exploit these complementary labels, i.e., the classes that a sample does not belong to. Inspired by this, we propose a novel Contrastive Complementary Labeling (CCL) method that constructs a large number of reliable negative pairs based on the complementary labels and adopts contrastive learning to make use of all the unlabeled data. Extensive experiments demonstrate that CCL significantly improves the performance on top of existing methods. More critically, our CCL is particularly effective under the label-scarce settings. For example, we yield an improvement of 2.43% over FixMatch on CIFAR-10 only with 40 labeled data.
• Abstract（参考訳）: semi-supervised learning (ssl) は、有望な分類法を学ぶために大量のラベルなしデータを活用することに成功している。 一般的なアプローチは疑似ラベルであり、信頼度の高いデータに対してのみ疑似ラベルを生成する。 信頼度の低いものについては、信頼できない擬似ラベルがモデルを誤解させる可能性があるため、既存のメソッドは単にそれらを捨てる。 それでも、信頼度の低い擬似ラベルを持つこれらのデータは、トレーニングプロセスに有用である。 特に、予測において最も高い確率を持つクラスは信頼できないが、このサンプルは最も低い確率を持つクラスに属する可能性が極めて低いと仮定できる。 このようにして、サンプルが属さないクラスなど、これらの補完ラベルを効果的に活用できれば、これらのデータも非常に有益なものになる。 そこで本研究では,これらのラベルに基づく信頼度の高い負のペアを多数構築し,すべてのラベルなしデータを利用するコントラスト学習を採用する,新しいコントラスト補完ラベル(ccl)手法を提案する。 大規模な実験により、CCLは既存のメソッド上での性能を大幅に改善することが示された。 さらに重要なのは、ラベルスカース設定で特に有効であることです。 例えば、CIFAR-10のFixMatchよりも2.43%改善され、40のラベル付きデータしかありません。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Learning with Confidence: Training Better Classifiers from Soft Labels [0.0]
  教師付き機械学習では、モデルは通常、ハードラベルを持つデータ、すなわちクラスメンバーシップの明確な割り当てを用いて訓練される。 クラスラベル上の離散確率分布として表されるラベルの不確実性を組み込むことで,分類モデルの予測性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2024-09-24T13:12:29Z)
• FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning [73.13448439554497]
  Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:57:59Z)
• Boosting Semi-Supervised Learning by bridging high and low-confidence predictions [4.18804572788063]
  Pseudo-labelingは半教師あり学習(SSL)において重要な技術である ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
  論文  参考訳（メタデータ） (2023-08-15T00:27:18Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。