論文の概要: Expressiveness and Learnability: A Unifying View for Evaluating
Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2206.01251v1
- Date: Thu, 2 Jun 2022 19:05:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 08:19:06.757766
- Title: Expressiveness and Learnability: A Unifying View for Evaluating
Self-Supervised Learning
- Title(参考訳): 表現性と学習性:自己指導型学習評価のための統一的視点
- Authors: Yuchen Lu, Zhen Liu, Aristide Baratin, Romain Laroche, Aaron
Courville, Alessandro Sordoni
- Abstract要約: 本稿では,教師付きラベルにアクセスせずに自己教師付き学習(SSL)モデルの表現品質を分析する統一的な視点を提案する。
表現は表現力と学習可能性のレンズを通して評価することができると論じる。
- 参考スコア(独自算出の注目度): 75.02846601343623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a unifying view to analyze the representation quality of
self-supervised learning (SSL) models without access to supervised labels,
while being agnostic to the architecture, learning algorithm or data
manipulation used during training. We argue that representations can be
evaluated through the lens of expressiveness and learnability. We propose to
use the Intrinsic Dimension (ID) to assess expressiveness and introduce Cluster
Learnability (CL) to assess learnability. CL is measured as the learning speed
of a KNN classifier trained to predict labels obtained by clustering the
representations with K-means. We thus combine CL and ID into a single
predictor: CLID. Through a large-scale empirical study with a diverse family of
SSL algorithms, we find that CLID better correlates with in-distribution model
performance than other competing recent evaluation schemes. We also benchmark
CLID on out-of-domain generalization, where CLID serves as a predictor of the
transfer performance of SSL models on several classification tasks, yielding
improvements with respect to the competing baselines.
- Abstract(参考訳): 本稿では,教師付きラベルにアクセスせずに自己教師付き学習(SSL)モデルの表現品質を解析し,アーキテクチャや学習アルゴリズム,データ操作などに依存しない統一的な視点を提案する。
表現は表現力と学習力のレンズを通して評価できると主張する。
本稿では、内在次元(ID)を用いて表現性を評価し、クラスタ学習性(CL)を導入して学習性を評価することを提案する。
表象をk-meansにクラスタリングして得られるラベルを予測するように訓練されたkn分類器の学習速度としてclを測定する。
したがって、CLとIDを単一の予測子に結合する: CLID。
SSLアルゴリズムの多種多様なファミリーによる大規模な実証研究を通じて、CLIDは、他の競合する最近の評価手法よりも分布内モデルの性能と相関することがわかった。
また、CLIDはいくつかの分類タスクにおけるSSLモデルの転送性能の予測器として機能し、競合するベースラインに関して改善をもたらす。
関連論文リスト
- A Probabilistic Model to explain Self-Supervised Representation Learning [17.643996974016854]
本稿では,データに対する生成潜在変数モデルを提案する。
比較的手法を含む識別的自己監督アルゴリズムのいくつかのファミリは、その表現上の潜在構造をほぼ誘導することを示した。
モデルを生成的に設定することで、SimVEは、一般的なベンチマーク上の以前のVAEメソッドよりもパフォーマンスを向上します。
論文 参考訳(メタデータ) (2024-02-02T13:31:17Z) - Prototypical Contrastive Learning-based CLIP Fine-tuning for Object
Re-identification [13.090873217313732]
本研究の目的は、オブジェクト再識別(Re-ID)の性能を高めるために、コントラスト言語画像事前学習(CLIP)のような大規模事前学習型視覚言語モデルを適用することである。
私たちはまず,CLIP-ReIDにおけるロールプロンプト学習を分析し,その限界を同定する。
提案手法は,CLIPのイメージエンコーダを直接微調整し,プロトタイプ・コントラッシブ・ラーニング(PCL)の損失を低減し,即時学習の必要性を解消する。
論文 参考訳(メタデータ) (2023-10-26T08:12:53Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Learning Deep Representations via Contrastive Learning for Instance
Retrieval [11.736450745549792]
本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。
本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
論文 参考訳(メタデータ) (2022-09-28T04:36:34Z) - Representation Learning via Consistent Assignment of Views to Clusters [0.7614628596146599]
Consistent Assignment for Representation Learning (CARL)は、視覚表現を学習するための教師なし学習手法である。
CARLはクラスタリングの観点から対照的な学習を眺めることで、一般的なプロトタイプの集合を学習することで教師なし表現を学習する。
深層クラスタリングによるコントラスト学習に関する現代の研究とは異なり、CARLはオンライン方式で一般的なプロトタイプのセットを学ぶことを提案する。
論文 参考訳(メタデータ) (2021-12-31T12:59:23Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳(メタデータ) (2021-06-03T14:59:59Z) - Supporting Clustering with Contrastive Learning [19.71262627336737]
Unsupervised Clusteringは、表現空間で測定された距離に応じて、データのセマンティックなカテゴリを発見することを目的とする。
異なるカテゴリは、学習プロセスの開始時に表現空間で互いに重なることが多い。
コントラスト学習によるクラスタリングのサポート - コントラスト学習を活用してより良い分離を促進する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-24T03:05:17Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳(メタデータ) (2021-01-02T09:04:14Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳(メタデータ) (2020-10-22T20:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。