論文の概要: EMP-SSL: Towards Self-Supervised Learning in One Training Epoch

• arxiv url: http://arxiv.org/abs/2304.03977v1
• Date: Sat, 8 Apr 2023 10:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 18:34:41.302319
• Title: EMP-SSL: Towards Self-Supervised Learning in One Training Epoch
• Title（参考訳）: EMP-SSL: 1つのトレーニングエポックにおける自己監督型学習を目指して
• Authors: Shengbang Tong, Yubei Chen, Yi Ma, Yann Lecun
• Abstract要約: 効率的な自己教師型学習の鍵は,各画像インスタンスから得られる作物の数を増やすことである。 EMP-SSL(Extreme-Multi-Patch Self-Supervised-Learning)と呼ばれる簡易な自己教師型学習手法を導入する。 EMP-SSLは、ベースラインSSLメソッドと比較して、ドメイン外のデータセットへの転送性が大幅に向上している。
• 参考スコア（独自算出の注目度）: 22.224658250935125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, self-supervised learning (SSL) has achieved tremendous success in learning image representation. Despite the empirical success, most self-supervised learning methods are rather "inefficient" learners, typically taking hundreds of training epochs to fully converge. In this work, we show that the key towards efficient self-supervised learning is to increase the number of crops from each image instance. Leveraging one of the state-of-the-art SSL method, we introduce a simplistic form of self-supervised learning method called Extreme-Multi-Patch Self-Supervised-Learning (EMP-SSL) that does not rely on many heuristic techniques for SSL such as weight sharing between the branches, feature-wise normalization, output quantization, and stop gradient, etc, and reduces the training epochs by two orders of magnitude. We show that the proposed method is able to converge to 85.1% on CIFAR-10, 58.5% on CIFAR-100, 38.1% on Tiny ImageNet and 58.5% on ImageNet-100 in just one epoch. Furthermore, the proposed method achieves 91.5% on CIFAR-10, 70.1% on CIFAR-100, 51.5% on Tiny ImageNet and 78.9% on ImageNet-100 with linear probing in less than ten training epochs. In addition, we show that EMP-SSL shows significantly better transferability to out-of-domain datasets compared to baseline SSL methods. We will release the code in https://github.com/tsb0601/EMP-SSL.
• Abstract（参考訳）: 近年,自己教師付き学習(SSL)は画像表現の学習において大きな成功を収めている。 実証的な成功にもかかわらず、ほとんどの自己教師型学習手法はむしろ「非効率」な学習者であり、通常は数百の訓練エポックが完全に収束する。 本研究では,効率的な自己教師型学習の鍵は,各イメージインスタンスから得られる作物の数を増やすことである。 最先端のSSL手法の1つを活用することで、枝間の重み共有、特徴量正規化、出力量子化、停止勾配など、SSLの多くのヒューリスティック技術に依存しないExtreme-Multi-Patch Self-Supervised-Learning(EMP-SSL)と呼ばれる、自己教師型学習手法の単純化形式を導入し、トレーニングのエポックを2桁に減らした。 提案手法は,CIFAR-10では85.1%,CIFAR-100では58.5%,Tiny ImageNetでは38.1%,ImageNet-100では58.5%に収束する。 さらに,提案手法は,CIFAR-10では91.5%,CIFAR-100では70.1%,Tiny ImageNetでは51.5%,ImageNet-100では78.9%,線形プローブでは10時間未満で達成している。 さらに,EMP-SSLは,ベースラインSSL法と比較して,ドメイン外のデータセットへの転送性が著しく向上していることを示す。 コードをhttps://github.com/tsb0601/EMP-SSLでリリースします。

関連論文リスト

• Self-Supervised Versus Supervised Training for Segmentation of Organoid Images [2.6242820867975127]
  大量の顕微鏡画像データセットがラベル付けされていないままであり、ディープラーニングアルゴリズムによる効果的な利用を妨げている。 自己教師付き学習(SSL)は、ラベルを必要とせずにメインタスクに類似したプリテキストタスクの下で固有の特徴を学習する、有望なソリューションである。 ResNet50 U-Netは、構造化類似度指数(Structure similarity Index Metric, SSIM)だけで、L1損失と組み合わせてSSIMを用いて、肝臓前駆体オルガノイドのイメージを拡張画像から復元する訓練が最初に行われた。 比較のために、同じU-Netアーキテクチャを使って、2つの教師付きモデルをトレーニングしました。
  論文  参考訳（メタデータ） (2023-11-19T01:57:55Z)
• Bag of Image Patch Embedding Behind the Success of Self-Supervised Learning [12.480529556920974]
  この研究は、共同埋め込み型SSLアプローチがイメージパッチの表現を学習し、その共起を反映していることを示している。 画像表現がベースライン法とよく似た結果が得られるように,固定スケールのパッチの表現を学習し,局所的なパッチの表現を集約することが実証的に示される。
  論文  参考訳（メタデータ） (2022-06-17T18:11:23Z)
• CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning [98.89092930354273]
  本稿では,非バランスなSSLのための非結合表現学習と分類器学習を用いた新しいコラーニングフレームワーク(CoSSL)を提案する。 データ不均衡に対処するため、分類器学習のためのTFE(Tail-class Feature Enhancement)を考案した。 実験により,本手法は様々な分散分布において,他の手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-12-08T20:13:13Z)
• MC-SSL0.0: Towards Multi-Concept Self-Supervised Learning [26.942174776511237]
  自己教師付き事前訓練は、多くの下流視覚アプリケーションにおいて教師付き事前訓練よりも優れていた。 この優位性は、トレーニング画像の不完全ラベル付けによる負の影響によるものである。 本研究では,ラベルを使わずに画像に現れる概念をモデル化する可能性について検討する。
  論文  参考訳（メタデータ） (2021-11-30T12:36:38Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning [94.89221799550593]
  SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。 最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。 単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
  論文  参考訳（メタデータ） (2021-04-19T08:22:52Z)
• Differentiable Augmentation for Data-Efficient GAN Training [48.920992130257595]
  DiffAugmentは,実検体と偽検体の両方に様々な種類の微分可能拡張を付与することにより,GANのデータ効率を向上させる簡易な手法である。 本手法は,既存の移動学習アルゴリズムと同等でありながら,事前学習することなく,100個の画像のみを用いて高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2020-06-18T17:59:01Z)
• SCAN: Learning to Classify Images without Labels [73.69513783788622]
  機能学習とクラスタリングを分離する2段階のアプローチを提唱する。 表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。 我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
  論文  参考訳（メタデータ） (2020-05-25T18:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。