論文の概要: Reverse Engineering Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2305.15614v2
• Date: Wed, 31 May 2023 14:14:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 02:11:47.194324
• Title: Reverse Engineering Self-Supervised Learning
• Title（参考訳）: リバースエンジニアリングによる自己監督型学習
• Authors: Ido Ben-Shaul, Ravid Shwartz-Ziv, Tomer Galanti, Shai Dekel, Yann LeCun
• Abstract要約: 自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
• 参考スコア（独自算出の注目度）: 17.720366509919167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) is a powerful tool in machine learning, but understanding the learned representations and their underlying mechanisms remains a challenge. This paper presents an in-depth empirical analysis of SSL-trained representations, encompassing diverse models, architectures, and hyperparameters. Our study reveals an intriguing aspect of the SSL training process: it inherently facilitates the clustering of samples with respect to semantic labels, which is surprisingly driven by the SSL objective's regularization term. This clustering process not only enhances downstream classification but also compresses the data information. Furthermore, we establish that SSL-trained representations align more closely with semantic classes rather than random classes. Remarkably, we show that learned representations align with semantic classes across various hierarchical levels, and this alignment increases during training and when moving deeper into the network. Our findings provide valuable insights into SSL's representation learning mechanisms and their impact on performance across different sets of classes.
• Abstract（参考訳）: 自己教師型学習(SSL)は機械学習において強力なツールであるが、学習した表現とその基盤となるメカニズムを理解することは依然として課題である。 本稿では,多様なモデル,アーキテクチャ,ハイパーパラメータを含むSSL学習表現の詳細な実験的検討を行う。 本研究はSSLトレーニングプロセスの興味深い側面を明らかにし,SSL目標の正規化項によって驚くほど駆動されるセマンティックラベルに対するサンプルのクラスタリングを本質的に促進する。 このクラスタリングプロセスは下流の分類を強化するだけでなく、データ情報も圧縮する。 さらに、SSLで訓練された表現が、ランダムクラスよりもセマンティッククラスとより密接に一致していることを確立する。 注目すべきなのは,学習表現がさまざまな階層レベルにわたる意味クラスと整合していることであり,このアライメントはトレーニングやネットワークの奥深くに移動すると増加する。 この結果から,SSLの表現学習機構と,クラス間のパフォーマンスへの影響に関する貴重な知見が得られた。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Improving Representation Learning for Histopathologic Images with Cluster Constraints [31.426157660880673]
  自己教師型学習(SSL)事前学習戦略が,現実的な代替手段として浮上している。 転送可能な表現学習と意味的に意味のあるクラスタリングのためのSSLフレームワークを導入する。 我々の手法は、下流の分類やクラスタリングタスクにおいて一般的なSSLメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-10-18T21:20:44Z)
• Explaining, Analyzing, and Probing Representations of Self-Supervised Learning Models for Sensor-based Human Activity Recognition [2.2082422928825136]
  自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。 本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
  論文  参考訳（メタデータ） (2023-04-14T07:53:59Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• A Study of the Generalizability of Self-Supervised Representations [0.0]
  近年の自己教師付き学習(SSL)により、ラベルのないデータから一般化可能な視覚表現を学習できるようになった。 本稿では,SSLモデルとSLモデルの一般化可能性について,その予測精度および予測信頼度を用いて検討する。 SSL表現はSL表現と比較して一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-19T15:57:37Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。