論文の概要: SemPPL: Predicting pseudo-labels for better contrastive representations
- arxiv url: http://arxiv.org/abs/2301.05158v1
- Date: Thu, 12 Jan 2023 17:24:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 13:35:13.794385
- Title: SemPPL: Predicting pseudo-labels for better contrastive representations
- Title（参考訳）: SemPPL: より良いコントラスト表現のための擬似ラベル予測
- Authors: Matko Bo\v{s}njak, Pierre H. Richemond, Nenad Tomasev, Florian Strub,
Jacob C. Walker, Felix Hill, Lars Holger Buesing, Razvan Pascanu, Charles
Blundell, Jovana Mitrovic
- Abstract要約: Pseudo-Labels (SemPPL) を用いた半教師付き学習手法Semantic Positivesを提案する。
SemPPLはラベル付きデータと非ラベル付きデータを組み合わせて情報表現を学習する。
本稿では,SemPPLが新たな最先端性能を規定する半教師付き手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 32.481752773798696
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning from large amounts of unsupervised data and a small amount of
supervision is an important open problem in computer vision. We propose a new
semi-supervised learning method, Semantic Positives via Pseudo-Labels (SemPPL),
that combines labelled and unlabelled data to learn informative
representations. Our method extends self-supervised contrastive learning --
where representations are shaped by distinguishing whether two samples
represent the same underlying datum (positives) or not (negatives) -- with a
novel approach to selecting positives. To enrich the set of positives, we
leverage the few existing ground-truth labels to predict the missing ones
through a $k$-nearest neighbours classifier by using the learned embeddings of
the labelled data. We thus extend the set of positives with datapoints having
the same pseudo-label and call these semantic positives. We jointly learn the
representation and predict bootstrapped pseudo-labels. This creates a
reinforcing cycle. Strong initial representations enable better pseudo-label
predictions which then improve the selection of semantic positives and lead to
even better representations. SemPPL outperforms competing semi-supervised
methods setting new state-of-the-art performance of $68.5\%$ and $76\%$ top-$1$
accuracy when using a ResNet-$50$ and training on $1\%$ and $10\%$ of labels on
ImageNet, respectively. Furthermore, when using selective kernels, SemPPL
significantly outperforms previous state-of-the-art achieving $72.3\%$ and
$78.3\%$ top-$1$ accuracy on ImageNet with $1\%$ and $10\%$ labels,
respectively, which improves absolute $+7.8\%$ and $+6.2\%$ over previous work.
SemPPL also exhibits state-of-the-art performance over larger ResNet models as
well as strong robustness, out-of-distribution and transfer performance.
- Abstract（参考訳）: 大量の教師なしデータと少量の監督データから学ぶことは、コンピュータビジョンにおいて重要なオープンな問題である。
本稿では,ラベル付きデータとラベルなしデータを組み合わせて情報表現を学習する半教師付き学習手法であるSemantic Positivesを提案する。
提案手法は, 自己教師付きコントラスト学習を拡張し, 2つのサンプルが同一のデイタム(正)を表現しているか(負)を識別することで表現を形作る。
正の集合を豊かにするために、ラベル付きデータの学習埋め込みを用いて、既存の基盤トラスラベルを利用して、不足したラベルを$k$-nearest 近傍の分類器で予測する。
したがって、同じ擬似ラベルを持つデータポイントで正の集合を拡張し、これらの意味的正を呼び出す。
我々は、表現を共同で学習し、自己ストラップ付き擬似ラベルを予測する。
これは強化サイクルを生み出します。
強い初期表現は、より良い擬似ラベル予測を可能にし、セマンティックポジティクスの選択を改善し、さらに優れた表現をもたらす。
SemPPLは、ResNet-50$の使用とImageNet上のラベルの1\%$と10\%$のトレーニングにおいて、新しい最先端のパフォーマンスを68.5\%と7.6\%$で設定する競合する半教師方式よりも優れている。
さらに、選択的なカーネルを使用する場合、SemPPLは、ImageNetで72.3 %$と78.3 %$のトップ-$1$の精度で、それぞれ1\%$と10\%$の精度で、絶対的な$+7.8 %$と$+6.2 %の精度を向上している。
SemPPLはまた、より大きなResNetモデルに対する最先端のパフォーマンス、強力な堅牢性、アウト・オブ・ディストリビューション、転送性能を示している。
関連論文リスト
- Pseudo-labelling meets Label Smoothing for Noisy Partial Label Learning [8.387189407144403]
部分ラベル学習(Partial label learning、PLL)は、各トレーニングインスタンスが候補ラベル(Partial label)のセットとペアリングされる弱い教師付き学習パラダイムである。
NPLLはこの制約を緩和し、一部の部分ラベルが真のラベルを含まないようにし、問題の実用性を高める。
本稿では,近傍の重み付けアルゴリズムを用いて,雑音のある部分ラベルを利用して画像に擬似ラベルを割り当てる最小限のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-07T13:32:47Z) - NP$^2$L: Negative Pseudo Partial Labels Extraction for Graph Neural
Networks [48.39834063008816]
擬似ラベルはグラフニューラルネットワーク(GNN)で使われ、メッセージパッシングレベルでの学習を支援する。
本稿では,GNNにおいて擬似ラベルを使用する新しい手法を提案する。
本手法は,部分ラベルの重なりが無く,負のノード対関係として定義される場合,より正確であることを示す。
論文 参考訳（メタデータ） (2023-10-02T11:13:59Z) - Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。
CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
論文 参考訳（メタデータ） (2021-12-17T18:59:41Z) - A Theory-Driven Self-Labeling Refinement Method for Contrastive
Representation Learning [111.05365744744437]
教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。
本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。
この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
論文 参考訳（メタデータ） (2021-06-28T14:24:52Z) - With a Little Help from My Friends: Nearest-Neighbor Contrastive
Learning of Visual Representations [87.72779294717267]
対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。
提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
論文 参考訳（メタデータ） (2021-04-29T17:56:08Z) - Reliable Label Bootstrapping for Semi-Supervised Learning [19.841733658911767]
ReLaBは教師なしプレプロセッシングアルゴリズムであり、極めて低い監督条件下での半教師付きアルゴリズムの性能を改善する。
本稿では,ネットワークアーキテクチャと自己教師型アルゴリズムの選択が,ラベルの伝播を成功させる重要な要因であることを示す。
CIFAR-10のクラス毎に1つのランダムなラベル付きサンプルを持つ$boldsymbol22.34$の平均エラー率に達し、各クラスのラベル付きサンプルが非常に代表的である場合に、このエラーを$boldsymbol8.46$に下げる。
論文 参考訳（メタデータ） (2020-07-23T08:51:37Z) - Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
ImageNet上での半教師あり学習に驚くほど効果的であることを示す。
我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。
ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
論文 参考訳（メタデータ） (2020-06-17T17:48:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。