論文の概要: RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank

• arxiv url: http://arxiv.org/abs/2210.02885v1
• Date: Wed, 5 Oct 2022 12:13:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:15:27.767148
• Title: RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank
• Title（参考訳）: rankme: 事前訓練された自己監督表現のランクによる下流性能の評価
• Authors: Quentin Garrido (LIGM), Randall Balestriero, Laurent Najman (LIGM), Yann Lecun (CIMS)
• Abstract要約: JE-SSL(Joint-Embedding Self Supervised Learning)が急速に発展している。 学習したJE-SSL表現の質を反映した評価基準を提供する。
• 参考スコア（独自算出の注目度）: 6.803748044853713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint-Embedding Self Supervised Learning (JE-SSL) has seen a rapid development, with the emergence of many method variations and few principled guidelines that would help practitioners to successfully deploy those methods. The main reason for that pitfall actually comes from JE-SSL's core principle of not employing any input reconstruction. Without any visual clue, it becomes extremely cryptic to judge the quality of a learned representation without having access to a labelled dataset. We hope to correct those limitations by providing a single -- theoretically motivated -- criterion that reflects the quality of learned JE-SSL representations: their effective rank. Albeit simple and computationally friendly, this method -- coined RankMe -- allows one to assess the performance of JE-SSL representations, even on different downstream datasets, without requiring any labels, training or parameters to tune. Through thorough empirical experiments involving hundreds of repeated training episodes, we demonstrate how RankMe can be used for hyperparameter selection with nearly no loss in final performance compared to the current selection method that involve dataset labels. We hope that RankMe will facilitate the use of JE-SSL in domains with little or no labeled data.
• Abstract（参考訳）: JE-SSL(Joint-Embedding Self Supervised Learning)は、多くのメソッドのバリエーションが出現し、実践者がこれらのメソッドをうまくデプロイするのに役立つガイドラインがほとんどない、急速に発展している。 この落とし穴の主な理由は、JE-SSLの中核的な原則である入力再構成を一切使わないことである。 視覚的な手掛かりがなければ、ラベル付きデータセットにアクセスせずに学習表現の品質を判断することは極めて謎めいたものになる。 私たちは、学習したJE-SSL表現の質を反映した単一の-理論的に動機づけられた-基準を提供することで、これらの制限を修正することを望んでいます。 単純で計算に親しみやすいこのメソッドであるRangeMeは、ラベルやトレーニング、パラメータをチューニングすることなく、異なる下流データセットでもJE-SSL表現のパフォーマンスを評価することができる。 何百もの繰り返しトレーニングエピソードを含む徹底的な実験実験を通じて、データセットラベルを含む現在の選択方法と比較して、最終性能にほとんど損失のないハイパーパラメータ選択にRangeMeがどのように使用できるかを示す。 RankMeは、ほとんど、または全くラベル付きデータを持たないドメインでのJE-SSLの使用を容易にすることを願っている。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Views Can Be Deceiving: Improved SSL Through Feature Space Augmentation [27.609748213840138]
  本研究では,視覚表現学習における自己監督学習(SSL)に対する刺激的特徴の影響について検討する。 SSLの一般的な拡張は、画像空間における望ましくない不変性を引き起こす可能性があることを示す。 そこで,本研究では,pruningによりエンコーダの後半層を正規化することにより,事前学習中にこれらの表現からスプリアス情報を除去するLateTVGを提案する。
  論文  参考訳（メタデータ） (2024-05-28T18:42:13Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Towards Democratizing Joint-Embedding Self-Supervised Learning [17.59181163979478]
  一つのイメージパッチを負の例として用いながら,SimCLRに有用な表現を学習させることが可能であることを示す。 JE-SSLを民主化するために、SSL用に最適化されたPyTorchライブラリを導入します。
  論文  参考訳（メタデータ） (2023-03-03T14:55:44Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• Self-Supervision Can Be a Good Few-Shot Learner [42.06243069679068]
  本稿では,自己監督による学習表現を効果的に非教師なしの少数ショット学習法を提案する。 具体的には、低バイアスMI推定器を用いて、インスタンスとそれらの表現の相互情報(MI)を最大化する。 自己指導型事前訓練は,適切な条件下で指導型事前訓練より優れることを示す。
  論文  参考訳（メタデータ） (2022-07-19T10:23:40Z)
• On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
  Semi-Supervised Learning (SSL)は基本的にラベルの問題である。 SSL に "class" を明示的に組み込んでいます。 提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
  論文  参考訳（メタデータ） (2022-06-29T22:01:29Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering [10.033658645311188]
  学習中の間欠的にラベルを完全に無視することは,小サンプル体制における性能を著しく向上させることを示す。 本手法は,最先端のSSLアルゴリズムの高速化に有効であることを示す。
  論文  参考訳（メタデータ） (2020-12-01T14:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。