論文の概要: Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods
- arxiv url: http://arxiv.org/abs/2206.01251v2
- Date: Tue, 14 Nov 2023 20:25:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 21:44:04.274011
- Title: Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods
- Title(参考訳): 自己指導型学習手法の評価における表現表現性と学習性の利用
- Authors: Yuchen Lu, Zhen Liu, Aristide Baratin, Romain Laroche, Aaron
Courville, Alessandro Sordoni
- Abstract要約: 本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
- 参考スコア(独自算出の注目度): 61.49061000562676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the problem of evaluating the quality of self-supervised learning
(SSL) models without access to supervised labels, while being agnostic to the
architecture, learning algorithm or data manipulation used during training. We
argue that representations can be evaluated through the lens of expressiveness
and learnability. We propose to use the Intrinsic Dimension (ID) to assess
expressiveness and introduce Cluster Learnability (CL) to assess learnability.
CL is measured in terms of the performance of a KNN classifier trained to
predict labels obtained by clustering the representations with K-means. We thus
combine CL and ID into a single predictor -- CLID. Through a large-scale
empirical study with a diverse family of SSL algorithms, we find that CLID
better correlates with in-distribution model performance than other competing
recent evaluation schemes. We also benchmark CLID on out-of-domain
generalization, where CLID serves as a predictor of the transfer performance of
SSL models on several visual classification tasks, yielding improvements with
respect to the competing baselines.
- Abstract(参考訳): 我々は,教師付きラベルにアクセスせずに自己教師付き学習(SSL)モデルの品質を評価する上で,アーキテクチャや学習アルゴリズム,データ操作などに依存しない課題に対処する。
表現は表現力と学習力のレンズを通して評価できると主張する。
本稿では、内在次元(ID)を用いて表現性を評価し、クラスタ学習性(CL)を導入して学習性を評価することを提案する。
clはk-meansで表現をクラスタリングして得られるラベルを予測するように訓練されたkn分類器の性能で測定される。
これにより、CLとIDを単一の予測子、CLIDに結合します。
SSLアルゴリズムの多種多様なファミリーによる大規模な実証研究を通じて、CLIDは、他の競合する最近の評価手法よりも分布内モデルの性能と相関することがわかった。
また、CLIDは、いくつかの視覚的分類タスクにおけるSSLモデルの転送性能の予測器として機能し、競合するベースラインに対する改善をもたらす。
関連論文リスト
- A Probabilistic Model to explain Self-Supervised Representation Learning [17.643996974016854]
本稿では,データに対する生成潜在変数モデルを提案する。
比較的手法を含む識別的自己監督アルゴリズムのいくつかのファミリは、その表現上の潜在構造をほぼ誘導することを示した。
モデルを生成的に設定することで、SimVEは、一般的なベンチマーク上の以前のVAEメソッドよりもパフォーマンスを向上します。
論文 参考訳(メタデータ) (2024-02-02T13:31:17Z) - Prototypical Contrastive Learning-based CLIP Fine-tuning for Object
Re-identification [13.090873217313732]
本研究の目的は、オブジェクト再識別(Re-ID)の性能を高めるために、コントラスト言語画像事前学習(CLIP)のような大規模事前学習型視覚言語モデルを適用することである。
私たちはまず,CLIP-ReIDにおけるロールプロンプト学習を分析し,その限界を同定する。
提案手法は,CLIPのイメージエンコーダを直接微調整し,プロトタイプ・コントラッシブ・ラーニング(PCL)の損失を低減し,即時学習の必要性を解消する。
論文 参考訳(メタデータ) (2023-10-26T08:12:53Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Learning Deep Representations via Contrastive Learning for Instance
Retrieval [11.736450745549792]
本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。
本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
論文 参考訳(メタデータ) (2022-09-28T04:36:34Z) - Representation Learning via Consistent Assignment of Views to Clusters [0.7614628596146599]
Consistent Assignment for Representation Learning (CARL)は、視覚表現を学習するための教師なし学習手法である。
CARLはクラスタリングの観点から対照的な学習を眺めることで、一般的なプロトタイプの集合を学習することで教師なし表現を学習する。
深層クラスタリングによるコントラスト学習に関する現代の研究とは異なり、CARLはオンライン方式で一般的なプロトタイプのセットを学ぶことを提案する。
論文 参考訳(メタデータ) (2021-12-31T12:59:23Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳(メタデータ) (2021-06-03T14:59:59Z) - Supporting Clustering with Contrastive Learning [19.71262627336737]
Unsupervised Clusteringは、表現空間で測定された距離に応じて、データのセマンティックなカテゴリを発見することを目的とする。
異なるカテゴリは、学習プロセスの開始時に表現空間で互いに重なることが多い。
コントラスト学習によるクラスタリングのサポート - コントラスト学習を活用してより良い分離を促進する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-24T03:05:17Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳(メタデータ) (2021-01-02T09:04:14Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳(メタデータ) (2020-10-22T20:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。