論文の概要: Generalized Supervised Contrastive Learning
- arxiv url: http://arxiv.org/abs/2206.00384v2
- Date: Sun, 21 May 2023 16:50:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 06:15:05.373627
- Title: Generalized Supervised Contrastive Learning
- Title（参考訳）: 一般化教師付きコントラスト学習
- Authors: Jaewon Kim, Hyukjong Lee, Jooyoung Chang, Sang Min Park
- Abstract要約: ラベル類似度と潜在類似度との相互エントロピーを測定する一般化された教師付きコントラスト損失を導入する。
既存のコントラスト学習フレームワークと比較して,汎用監視コントラスト学習(Generalized Supervised Contrastive Learning, GenSCL)という,カスタマイズされたフレームワークを構築している。
GenSCLはImageNetで77.3%というトップ1の精度を達成しており、従来の教師付きコントラスト学習よりも4.1%改善している。
- 参考スコア（独自算出の注目度）: 3.499054375230853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the recent promising results of contrastive learning in the
self-supervised learning paradigm, supervised contrastive learning has
successfully extended these contrastive approaches to supervised contexts,
outperforming cross-entropy on various datasets. However, supervised
contrastive learning inherently employs label information in a binary
form--either positive or negative--using a one-hot target vector. This
structure struggles to adapt to methods that exploit label information as a
probability distribution, such as CutMix and knowledge distillation. In this
paper, we introduce a generalized supervised contrastive loss, which measures
cross-entropy between label similarity and latent similarity. This concept
enhances the capabilities of supervised contrastive loss by fully utilizing the
label distribution and enabling the adaptation of various existing techniques
for training modern neural networks. Leveraging this generalized supervised
contrastive loss, we construct a tailored framework: the Generalized Supervised
Contrastive Learning (GenSCL). Compared to existing contrastive learning
frameworks, GenSCL incorporates additional enhancements, including advanced
image-based regularization techniques and an arbitrary teacher classifier. When
applied to ResNet50 with the Momentum Contrast technique, GenSCL achieves a
top-1 accuracy of 77.3% on ImageNet, a 4.1% relative improvement over
traditional supervised contrastive learning. Moreover, our method establishes
new state-of-the-art accuracies of 98.2% and 87.0% on CIFAR10 and CIFAR100
respectively when applied to ResNet50, marking the highest reported figures for
this architecture.
- Abstract（参考訳）: 近年の自己指導型学習パラダイムにおけるコントラスト学習の有望な成果により、教師付きコントラスト学習は、これらのコントラスト学習アプローチを教師付きコンテキストに拡張し、さまざまなデータセット上でのクロスエントロピーを上回った。
しかし、教師付きコントラスト学習は、本質的には正か負かのいずれかの2進形式のラベル情報を用いる。
この構造は、ラベル情報をカットミックスや知識蒸留といった確率分布として利用する手法への適応に苦慮している。
本稿では,ラベル類似性と潜在類似性の間の相互エントロピーを測る,一般化された教師付きコントラスト損失を提案する。
この概念は、ラベル分布を完全に活用し、現代のニューラルネットワークを訓練するための様々な既存のテクニックの適応を可能にすることにより、教師付きコントラスト損失の能力を高める。
一般教師付きコントラスト学習(GenSCL)を応用し,汎用教師付きコントラスト学習(Generalized Supervised Contrastive Learning)というフレームワークを構築した。
既存のコントラスト学習フレームワークと比較して、GenSCLには高度な画像ベース正規化技術や任意の教師分類器など、さらなる拡張が含まれている。
Momentum Contrast 技術で ResNet50 に適用すると、GenSCL はImageNet の 77.3% のトップ-1 の精度を達成している。
さらに,ResNet50に適用した場合,CIFAR10とCIFAR100で98.2%,87.0%の新たな最先端アキュラシーを確立し,このアーキテクチャの最も高い数値を示す。
関連論文リスト
- Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。
提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文 参考訳（メタデータ） (2024-05-17T19:49:02Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳（メタデータ） (2021-10-10T12:03:52Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳（メタデータ） (2021-09-04T02:45:22Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z) - Contrastive Learning based Hybrid Networks for Long-Tailed Image
Classification [31.647639786095993]
画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。
3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
論文 参考訳（メタデータ） (2021-03-26T05:22:36Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-07-17T15:50:34Z) - A Simple Framework for Contrastive Learning of Visual Representations [116.37752766922407]
本稿では,視覚表現のコントラスト学習のためのシンプルなフレームワークであるSimCLRについて述べる。
我々は,データ拡張の構成が効果的な予測タスクを定義する上で重要な役割を担っていることを示す。
我々は、ImageNet上での自己教師付き半教師付き学習において、従来の手法よりもかなり優れています。
論文 参考訳（メタデータ） (2020-02-13T18:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。