論文の概要: RankMe: Assessing the downstream performance of pretrained
self-supervised representations by their rank
- arxiv url: http://arxiv.org/abs/2210.02885v3
- Date: Mon, 26 Jun 2023 12:17:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 00:36:22.724339
- Title: RankMe: Assessing the downstream performance of pretrained
self-supervised representations by their rank
- Title（参考訳）: rankme: 事前訓練された自己監督表現のランクによる下流性能の評価
- Authors: Quentin Garrido (LIGM), Randall Balestriero, Laurent Najman (LIGM),
Yann Lecun (CIMS)
- Abstract要約: JE-SSL(Joint-Embedding Self Supervised Learning)が急速に発展している。
新しいデータセットにSSLをデプロイすることは難しく、ラベルが学習した表現の質を判断するのに役立ちません。
本研究では,学習したJE-SSL表現の質を示す,単純な教師なし基準である,その有効ランクについて述べる。
- 参考スコア（独自算出の注目度）: 6.803748044853713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Joint-Embedding Self Supervised Learning (JE-SSL) has seen a rapid
development, with the emergence of many method variations but only few
principled guidelines that would help practitioners to successfully deploy
them. The main reason for that pitfall comes from JE-SSL's core principle of
not employing any input reconstruction therefore lacking visual cues of
unsuccessful training. Adding non informative loss values to that, it becomes
difficult to deploy SSL on a new dataset for which no labels can help to judge
the quality of the learned representation. In this study, we develop a simple
unsupervised criterion that is indicative of the quality of the learned JE-SSL
representations: their effective rank. Albeit simple and computationally
friendly, this method -- coined RankMe -- allows one to assess the performance
of JE-SSL representations, even on different downstream datasets, without
requiring any labels. A further benefit of RankMe is that it does not have any
training or hyper-parameters to tune. Through thorough empirical experiments
involving hundreds of training episodes, we demonstrate how RankMe can be used
for hyperparameter selection with nearly no reduction in final performance
compared to the current selection method that involve a dataset's labels. We
hope that RankMe will facilitate the deployment of JE-SSL towards domains that
do not have the opportunity to rely on labels for representations' quality
assessment.
- Abstract（参考訳）: JE-SSL(Joint-Embedding Self Supervised Learning)は、多くのメソッドバリエーションが出現するなど、急速に発展してきたが、実践者がそれをうまくデプロイする上で有効なガイドラインはごくわずかである。
この落とし穴の主な理由は、JE-SSLの中核的な原則である入力再構成を一切使わなかったことによる。
非情報損失値を追加することで、学習した表現の質を判断するのにラベルが役に立たない新しいデータセットにSSLをデプロイすることは難しくなる。
本研究では,学習したJE-SSL表現の質を示す,単純な教師なしの基準である,その有効ランクについて述べる。
単純で計算に親しみやすい方法であるRangeMeは、ラベルを必要とせずに、異なる下流データセットでもJE-SSL表現のパフォーマンスを評価することができる。
RankMeのさらなる利点は、チューニングするトレーニングやハイパーパラメータがないことである。
数百のトレーニングエピソードを含む徹底的な実験を通じて、rankmeはデータセットのラベルを含む現在の選択方法と比較して、最終的なパフォーマンスをほとんど低下させることなく、ハイパーパラメータ選択にどのように使用できるのかを実証する。
RankMeは、表現の質評価のためにラベルに頼る機会のないドメインへのJE-SSLのデプロイを容易にすることを願っている。
関連論文リスト
- A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。
SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
論文 参考訳（メタデータ） (2024-07-16T23:17:36Z) - Views Can Be Deceiving: Improved SSL Through Feature Space Augmentation [27.609748213840138]
本研究では,視覚表現学習における自己監督学習(SSL)に対する刺激的特徴の影響について検討する。
SSLの一般的な拡張は、画像空間における望ましくない不変性を引き起こす可能性があることを示す。
そこで,本研究では,pruningによりエンコーダの後半層を正規化することにより,事前学習中にこれらの表現からスプリアス情報を除去するLateTVGを提案する。
論文 参考訳（メタデータ） (2024-05-28T18:42:13Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-12-13T09:32:50Z) - Towards Democratizing Joint-Embedding Self-Supervised Learning [17.59181163979478]
一つのイメージパッチを負の例として用いながら,SimCLRに有用な表現を学習させることが可能であることを示す。
JE-SSLを民主化するために、SSL用に最適化されたPyTorchライブラリを導入します。
論文 参考訳（メタデータ） (2023-03-03T14:55:44Z) - SLICER: Learning universal audio representations using low-resource
self-supervised pre-training [53.06337011259031]
ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。
我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
論文 参考訳（メタデータ） (2022-11-02T23:45:33Z) - Self-Supervision Can Be a Good Few-Shot Learner [42.06243069679068]
本稿では,自己監督による学習表現を効果的に非教師なしの少数ショット学習法を提案する。
具体的には、低バイアスMI推定器を用いて、インスタンスとそれらの表現の相互情報(MI)を最大化する。
自己指導型事前訓練は,適切な条件下で指導型事前訓練より優れることを示す。
論文 参考訳（メタデータ） (2022-07-19T10:23:40Z) - On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
Semi-Supervised Learning (SSL)は基本的にラベルの問題である。
SSL に "class" を明示的に組み込んでいます。
提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
論文 参考訳（メタデータ） (2022-06-29T22:01:29Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳（メタデータ） (2021-10-11T06:29:56Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - Boosting the Performance of Semi-Supervised Learning with Unsupervised
Clustering [10.033658645311188]
学習中の間欠的にラベルを完全に無視することは,小サンプル体制における性能を著しく向上させることを示す。
本手法は,最先端のSSLアルゴリズムの高速化に有効であることを示す。
論文 参考訳（メタデータ） (2020-12-01T14:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。