論文の概要: Towards Democratizing Joint-Embedding Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2303.01986v1
- Date: Fri, 3 Mar 2023 14:55:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-06 14:39:53.367677
- Title: Towards Democratizing Joint-Embedding Self-Supervised Learning
- Title（参考訳）: 自己監督型学習の民主化に向けて
- Authors: Florian Bordes, Randall Balestriero, Pascal Vincent
- Abstract要約: 一つのイメージパッチを負の例として用いながら,SimCLRに有用な表現を学習させることが可能であることを示す。
JE-SSLを民主化するために、SSL用に最適化されたPyTorchライブラリを導入します。
- 参考スコア（独自算出の注目度）: 17.59181163979478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Joint Embedding Self-Supervised Learning (JE-SSL) has seen rapid developments
in recent years, due to its promise to effectively leverage large unlabeled
data. The development of JE-SSL methods was driven primarily by the search for
ever increasing downstream classification accuracies, using huge computational
resources, and typically built upon insights and intuitions inherited from a
close parent JE-SSL method. This has led unwittingly to numerous pre-conceived
ideas that carried over across methods e.g. that SimCLR requires very large
mini batches to yield competitive accuracies; that strong and computationally
slow data augmentations are required. In this work, we debunk several such
ill-formed a priori ideas in the hope to unleash the full potential of JE-SSL
free of unnecessary limitations. In fact, when carefully evaluating
performances across different downstream tasks and properly optimizing
hyper-parameters of the methods, we most often -- if not always -- see that
these widespread misconceptions do not hold. For example we show that it is
possible to train SimCLR to learn useful representations, while using a single
image patch as negative example, and simple Gaussian noise as the only data
augmentation for the positive pair. Along these lines, in the hope to
democratize JE-SSL and to allow researchers to easily make more extensive
evaluations of their methods, we introduce an optimized PyTorch library for
SSL.
- Abstract（参考訳）: JE-SSL(Joint Embedding Self-Supervised Learning)は、大規模なラベルなしデータを効果的に活用するという約束により、近年急速に発展している。
JE-SSL法の開発は、主に、膨大な計算資源を使用して、下流の分類精度を継続的に向上させ、親の親であるJE-SSL法から受け継いだ洞察と直観に基づいて構築された。
これは、SimCLRが競争力のある精度を得るために非常に大きなミニバッチを必要とするなど、メソッドをまたいで実行された多くの先入観念につながった。
この作業では、不要な制限なしにJE-SSLの潜在能力を解き放ちたいと願って、このような不適切なプリオリのアイデアをいくつか取り除きます。
実際、異なるダウンストリームタスク間でパフォーマンスを慎重に評価し、メソッドのハイパーパラメータを適切に最適化する場合、ほとんどの場合(必ずしもそうでなくても)、これらの広範な誤解が保たないことに気付く。
例えば、1つのイメージパッチを負の例とし、単純なガウスノイズを正のペアの唯一のデータ拡張として用いながら、SimCLRに有用な表現を学習させることが可能であることを示す。
これらの線に沿って、JE-SSLを民主化し、研究者が彼らのメソッドをより広範囲に評価できるように、SSLのための最適化されたPyTorchライブラリを導入する。
関連論文リスト
- Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。
RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。
我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
論文 参考訳（メタデータ） (2024-05-02T21:52:24Z) - BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳（メタデータ） (2024-02-04T10:52:43Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-12-13T09:32:50Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳（メタデータ） (2023-09-09T01:57:14Z) - Data-Efficient Contrastive Self-supervised Learning: Most Beneficial
Examples for Supervised Learning Contribute the Least [14.516008359896421]
自己教師付き学習(SSL)は、ラベルなしのトレーニングデータの大規模なプールから高品質な表現を学ぶ。
データセットが大きくなるにつれて、そのような表現の学習に最も寄与する例を特定することが重要になる。
対照的なSSLに最も貢献する例は、他の例と最もよく似た拡張であることを示す。
論文 参考訳（メタデータ） (2023-02-18T00:15:06Z) - Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。
本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。
我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
論文 参考訳（メタデータ） (2022-12-23T15:46:23Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳（メタデータ） (2022-09-26T12:04:49Z) - Improving Self-Supervised Learning by Characterizing Idealized
Representations [155.1457170539049]
与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。
対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。
非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
論文 参考訳（メタデータ） (2022-09-13T18:01:03Z) - OpenLDN: Learning to Discover Novel Classes for Open-World
Semi-Supervised Learning [110.40285771431687]
半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。
最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。
この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
論文 参考訳（メタデータ） (2022-07-05T18:51:05Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳（メタデータ） (2021-10-11T06:29:56Z) - Understanding self-supervised Learning Dynamics without Contrastive
Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。
BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。
単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文 参考訳（メタデータ） (2021-02-12T22:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。