論文の概要: A Generalized Supervised Contrastive Learning Framework

• arxiv url: http://arxiv.org/abs/2206.00384v1
• Date: Wed, 1 Jun 2022 10:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 15:59:01.245488
• Title: A Generalized Supervised Contrastive Learning Framework
• Title（参考訳）: 一般化教師付きコントラスト学習フレームワーク
• Authors: Jaewon Kim, Jooyoung Chang, Sang Min Park
• Abstract要約: GenSCLは汎用的な教師付きコントラスト学習フレームワークである。 最新のイメージベースの正規化をSupConにシームレスに適合させる。 従来の正と負の境界を破る。
• 参考スコア（独自算出の注目度）: 3.9325864604787277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Based on recent remarkable achievements of contrastive learning in self-supervised representation learning, supervised contrastive learning (SupCon) has successfully extended the batch contrastive approaches to the supervised context and outperformed cross-entropy on various datasets on ResNet. In this work, we present GenSCL: a generalized supervised contrastive learning framework that seamlessly adapts modern image-based regularizations (such as Mixup-Cutmix) and knowledge distillation (KD) to SupCon by our generalized supervised contrastive loss. Generalized supervised contrastive loss is a further extension of supervised contrastive loss measuring cross-entropy between the similarity of labels and that of latent features. Then a model can learn to what extent contrastives should be pulled closer to an anchor in the latent space. By explicitly and fully leveraging label information, GenSCL breaks the boundary between conventional positives and negatives, and any kind of pre-trained teacher classifier can be utilized. ResNet-50 trained in GenSCL with Mixup-Cutmix and KD achieves state-of-the-art accuracies of 97.6% and 84.7% on CIFAR10 and CIFAR100 without external data, which significantly improves the results reported in the original SupCon (1.6% and 8.2%, respectively). Pytorch implementation is available at https://t.ly/yuUO.
• Abstract（参考訳）: 自己指導型表現学習におけるコントラスト学習の最近の顕著な成果に基づき、教師付きコントラスト学習(SupCon)は、バッチコントラスト学習を教師付きコンテキストに拡張し、ResNet上の様々なデータセット上で優れたクロスエントロピーを実現した。 本稿では,現代画像ベース正規化(Mixup-Cutmixなど)と知識蒸留(KD)をシームレスに適応する汎用教師付きコントラスト学習フレームワークGenSCLを,一般化教師付きコントラスト学習によりSupConに提示する。 一般化された教師付きコントラスト損失は、ラベルの類似性と潜在特徴の相互エントロピーを測定する教師付きコントラスト損失のさらなる拡張である。 そして、モデルがどれだけのコントラストを潜在空間のアンカーに近づけるべきかを学ぶことができる。 ラベル情報を明示的に完全に活用することにより、GenSCLは従来の正と負の境界を破り、事前学習された教師分類器を利用できる。 GenSCLでMixup-CutmixとKDでトレーニングされたResNet-50は、外部データなしでCIFAR10とCIFAR100で97.6%と84.7%の最先端の精度を実現し、オリジナルのSupCon(それぞれ1.6%と8.2%)で報告された結果を大幅に改善した。 pytorchの実装はhttps://t.ly/yuuoで利用可能である。

関連論文リスト

• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification [31.647639786095993]
  画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。 3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
  論文  参考訳（メタデータ） (2021-03-26T05:22:36Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
  エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。 CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-17T15:50:34Z)
• A Simple Framework for Contrastive Learning of Visual Representations [116.37752766922407]
  本稿では,視覚表現のコントラスト学習のためのシンプルなフレームワークであるSimCLRについて述べる。 我々は,データ拡張の構成が効果的な予測タスクを定義する上で重要な役割を担っていることを示す。 我々は、ImageNet上での自己教師付き半教師付き学習において、従来の手法よりもかなり優れています。
  論文  参考訳（メタデータ） (2020-02-13T18:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。