論文の概要: Rethinking Self-Supervised Learning: Small is Beautiful

• arxiv url: http://arxiv.org/abs/2103.13559v1
• Date: Thu, 25 Mar 2021 01:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:51:03.615099
• Title: Rethinking Self-Supervised Learning: Small is Beautiful
• Title（参考訳）: 自己監督型学習を再考する: 小さくて美しい
• Authors: Yun-Hao Cao and Jianxin Wu
• Abstract要約: 小解像度、小アーキテクチャ、小データという3つの部分を含むスケールダウン自己監督学習(S3L)を提案します。 さまざまなデータセットセットにおいて、S3Lは、以前のSSL学習パラダイムと比較して、トレーニングコストを大幅に削減しながら、一貫して高い精度を達成する。
• 参考スコア（独自算出の注目度）: 30.809693803413445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL), in particular contrastive learning, has made great progress in recent years. However, a common theme in these methods is that they inherit the learning paradigm from the supervised deep learning scenario. Current SSL methods are often pretrained for many epochs on large-scale datasets using high resolution images, which brings heavy computational cost and lacks flexibility. In this paper, we demonstrate that the learning paradigm for SSL should be different from supervised learning and the information encoded by the contrastive loss is expected to be much less than that encoded in the labels in supervised learning via the cross entropy loss. Hence, we propose scaled-down self-supervised learning (S3L), which include 3 parts: small resolution, small architecture and small data. On a diverse set of datasets, SSL methods and backbone architectures, S3L achieves higher accuracy consistently with much less training cost when compared to previous SSL learning paradigm. Furthermore, we show that even without a large pretraining dataset, S3L can achieve impressive results on small data alone. Our code has been made publically available at https://github.com/CupidJay/Scaled-down-self-supervised-learning.
• Abstract（参考訳）: 自己教師付き学習(SSL)、特に対照的な学習は近年大きな進歩を遂げている。 しかし,これらの手法の共通のテーマは,教師付きディープラーニングシナリオから学習パラダイムを継承することである。 現在のSSLメソッドは、高解像度の画像を使用して大規模なデータセット上で多くのエポックに対して事前訓練されることが多い。 本稿では,ssl の学習パラダイムが教師あり学習と異なることを実証し,クロスエントロピー損失による教師あり学習においてラベルにエンコードされる情報よりも,コントラスト的損失で符号化された情報の方がはるかに少ないことを期待する。 そこで我々は,小型化,小型化,小型化,小型化という3つの部分を含む,スケールダウン型自己教師学習(S3L)を提案する。 さまざまなデータセット、SSLメソッド、バックボーンアーキテクチャに基づいて、S3Lは、以前のSSL学習パラダイムと比較して、トレーニングコストを大幅に削減して、一貫性の高い精度を実現している。 さらに,大規模な事前学習データセットがなくても,s3lは小さなデータだけで素晴らしい結果が得られることを示す。 私たちのコードはhttps://github.com/CupidJay/Scaled-down-down-supervised-learningで公開されています。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Visual Self-supervised Learning Scheme for Dense Prediction Tasks on X-ray Images [3.782392436834913]
  自己教師付き学習(SSL)は自然言語処理(NLP)においてかなりの進歩をもたらした しかし、既存のビジュアルSSLモデルにコントラスト学習を組み込むことは、しばしば監督対象を超越する、かなりの進歩をもたらした。 ここでは、セキュリティ検査X線画像を用いた密集予測タスクに着目し、提案モデルであるセグメントローカライゼーション(SegLoc)を評価する。 インスタンスローカライゼーション(InsLoc)モデルに基づいて、SegLocはコントラスト学習における重要な課題の1つ、すなわち、クエリ埋め込みの偽陰性ペアに対処する。
  論文  参考訳（メタデータ） (2023-10-12T15:42:17Z)
• Data-Efficient Contrastive Self-supervised Learning: Most Beneficial Examples for Supervised Learning Contribute the Least [14.516008359896421]
  自己教師付き学習(SSL)は、ラベルなしのトレーニングデータの大規模なプールから高品質な表現を学ぶ。 データセットが大きくなるにつれて、そのような表現の学習に最も寄与する例を特定することが重要になる。 対照的なSSLに最も貢献する例は、他の例と最もよく似た拡張であることを示す。
  論文  参考訳（メタデータ） (2023-02-18T00:15:06Z)
• Evaluating Self-Supervised Learning via Risk Decomposition [100.73914689472507]
  自己教師付き学習(SSL)パイプラインは、アーキテクチャや拡張、事前トレーニングデータなど、多くの設計上の選択肢が異なる。 これはなぜモデルが良いのか、いつ良いのか、どのように改善するかについて、あまり洞察を提供していない。 本稿では,古典的教師付き近似-推定分解を一般化したSSLリスク分解を提案する。
  論文  参考訳（メタデータ） (2023-02-06T19:09:00Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision [16.757456364034798]
  半教師付き学習(SSL)はますます人気が高まっている。 擬似ラベル手法と自己教師付き損失を組み合わせた新しいSSLアルゴリズムであるDoubleMatchを提案する。 本手法は,既存のSSL手法と比較してトレーニング時間を短縮しつつ,複数のベンチマークデータセット上で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-05-11T15:43:48Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning [83.02597612195966]
  solo-learnは視覚表現学習のための自己指導型のメソッドのライブラリである。 Pythonで実装され、PytorchとPytorch Lightningを使用して、このライブラリは研究と業界のニーズの両方に適合する。
  論文  参考訳（メタデータ） (2021-08-03T22:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。