論文の概要: Expressiveness and Learnability: A Unifying View for Evaluating
Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2206.01251v1
- Date: Thu, 2 Jun 2022 19:05:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 08:19:06.757766
- Title: Expressiveness and Learnability: A Unifying View for Evaluating
Self-Supervised Learning
- Title（参考訳）: 表現性と学習性:自己指導型学習評価のための統一的視点
- Authors: Yuchen Lu, Zhen Liu, Aristide Baratin, Romain Laroche, Aaron
Courville, Alessandro Sordoni
- Abstract要約: 本稿では,教師付きラベルにアクセスせずに自己教師付き学習(SSL)モデルの表現品質を分析する統一的な視点を提案する。
表現は表現力と学習可能性のレンズを通して評価することができると論じる。
- 参考スコア（独自算出の注目度）: 75.02846601343623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a unifying view to analyze the representation quality of
self-supervised learning (SSL) models without access to supervised labels,
while being agnostic to the architecture, learning algorithm or data
manipulation used during training. We argue that representations can be
evaluated through the lens of expressiveness and learnability. We propose to
use the Intrinsic Dimension (ID) to assess expressiveness and introduce Cluster
Learnability (CL) to assess learnability. CL is measured as the learning speed
of a KNN classifier trained to predict labels obtained by clustering the
representations with K-means. We thus combine CL and ID into a single
predictor: CLID. Through a large-scale empirical study with a diverse family of
SSL algorithms, we find that CLID better correlates with in-distribution model
performance than other competing recent evaluation schemes. We also benchmark
CLID on out-of-domain generalization, where CLID serves as a predictor of the
transfer performance of SSL models on several classification tasks, yielding
improvements with respect to the competing baselines.
- Abstract（参考訳）: 本稿では,教師付きラベルにアクセスせずに自己教師付き学習(SSL)モデルの表現品質を解析し,アーキテクチャや学習アルゴリズム,データ操作などに依存しない統一的な視点を提案する。
表現は表現力と学習力のレンズを通して評価できると主張する。
本稿では、内在次元(ID)を用いて表現性を評価し、クラスタ学習性(CL)を導入して学習性を評価することを提案する。
表象をk-meansにクラスタリングして得られるラベルを予測するように訓練されたkn分類器の学習速度としてclを測定する。
したがって、CLとIDを単一の予測子に結合する: CLID。
SSLアルゴリズムの多種多様なファミリーによる大規模な実証研究を通じて、CLIDは、他の競合する最近の評価手法よりも分布内モデルの性能と相関することがわかった。
また、CLIDはいくつかの分類タスクにおけるSSLモデルの転送性能の予測器として機能し、競合するベースラインに関して改善をもたらす。
関連論文リスト
- Adaptive Self-supervised Robust Clustering for Unstructured Data with Unknown Cluster Number [12.926206811876174]
適応型自己教師型ロバストクラスタリング(Adaptive Self-supervised Robust Clustering, ASRC)と呼ばれる非構造化データに適した,新たな自己教師型ディープクラスタリング手法を提案する。
ASRCはグラフ構造とエッジ重みを適応的に学習し、局所構造情報と大域構造情報の両方をキャプチャする。
ASRCは、クラスタ数の事前知識に依存するメソッドよりも優れており、非構造化データのクラスタリングの課題に対処する上での有効性を強調している。
論文 参考訳（メタデータ） (2024-07-29T15:51:09Z) - What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。
事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。
CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
論文 参考訳（メタデータ） (2024-05-31T17:57:24Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - Prototypical Contrastive Learning-based CLIP Fine-tuning for Object
Re-identification [13.090873217313732]
本研究の目的は、オブジェクト再識別(Re-ID)の性能を高めるために、コントラスト言語画像事前学習(CLIP)のような大規模事前学習型視覚言語モデルを適用することである。
私たちはまず,CLIP-ReIDにおけるロールプロンプト学習を分析し,その限界を同定する。
提案手法は,CLIPのイメージエンコーダを直接微調整し,プロトタイプ・コントラッシブ・ラーニング(PCL)の損失を低減し,即時学習の必要性を解消する。
論文 参考訳（メタデータ） (2023-10-26T08:12:53Z) - Learning Deep Representations via Contrastive Learning for Instance
Retrieval [11.736450745549792]
本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。
本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
論文 参考訳（メタデータ） (2022-09-28T04:36:34Z) - Representation Learning via Consistent Assignment of Views to Clusters [0.7614628596146599]
Consistent Assignment for Representation Learning (CARL)は、視覚表現を学習するための教師なし学習手法である。
CARLはクラスタリングの観点から対照的な学習を眺めることで、一般的なプロトタイプの集合を学習することで教師なし表現を学習する。
深層クラスタリングによるコントラスト学習に関する現代の研究とは異なり、CARLはオンライン方式で一般的なプロトタイプのセットを学ぶことを提案する。
論文 参考訳（メタデータ） (2021-12-31T12:59:23Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-06-03T14:59:59Z) - Supporting Clustering with Contrastive Learning [19.71262627336737]
Unsupervised Clusteringは、表現空間で測定された距離に応じて、データのセマンティックなカテゴリを発見することを目的とする。
異なるカテゴリは、学習プロセスの開始時に表現空間で互いに重なることが多い。
コントラスト学習によるクラスタリングのサポート - コントラスト学習を活用してより良い分離を促進する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-24T03:05:17Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。