論文の概要: Clustering Properties of Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2501.18452v1
• Date: Thu, 30 Jan 2025 16:05:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:40.629758
• Title: Clustering Properties of Self-Supervised Learning
• Title（参考訳）: 自己監督型学習のクラスタリング特性
• Authors: Xi Weng, Jianing An, Xudong Ma, Binhang Qi, Jie Luo, Xi Yang, Jin Song Dong, Lei Huang,
• Abstract要約: 自己教師付き学習(SSL)法は、強力なクラスタリング特性を持つ意味的にリッチな表現を捉えるのに極めて効果的であることが証明されている。 本稿では,自己指導型学習を促進するためにモデルのクラスタリング特性を活用する,Representation Soft Assignment (ReSA) と呼ばれる新しい正フィードバックSSL手法を提案する。
• 参考スコア（独自算出の注目度）: 14.756786256090704
• License:
• Abstract: Self-supervised learning (SSL) methods via joint embedding architectures have proven remarkably effective at capturing semantically rich representations with strong clustering properties, magically in the absence of label supervision. Despite this, few of them have explored leveraging these untapped properties to improve themselves. In this paper, we provide an evidence through various metrics that the encoder's output $encoding$ exhibits superior and more stable clustering properties compared to other components. Building on this insight, we propose a novel positive-feedback SSL method, termed Representation Soft Assignment (ReSA), which leverages the model's clustering properties to promote learning in a self-guided manner. Extensive experiments on standard SSL benchmarks reveal that models pretrained with ReSA outperform other state-of-the-art SSL methods by a significant margin. Finally, we analyze how ReSA facilitates better clustering properties, demonstrating that it effectively enhances clustering performance at both fine-grained and coarse-grained levels, shaping representations that are inherently more structured and semantically meaningful.
• Abstract（参考訳）: 自己教師付き学習 (SSL) 手法は, ラベル管理の欠如により, 強力なクラスタリング特性を持つ意味豊かな表現を捉える上で, 極めて効果的であることが証明されている。 それにもかかわらず、これらの未解決のプロパティを活用して、自分自身を改善することを検討している人はほとんどいない。 本稿では,エンコーダの出力$encoding$が,他のコンポーネントと比較して優れた,より安定したクラスタリング特性を示すことを示す。 この知見に基づいて,自己指導型学習を促進するためにモデルのクラスタリング特性を活用する,Representation Soft Assignment (ReSA) と呼ばれる新しい正フィードバックSSL手法を提案する。 標準SSLベンチマークの大規模な実験により、ReSAで事前訓練されたモデルは、他の最先端SSLメソッドよりも大きなマージンで優れていることが判明した。 最後に、ReSAがより優れたクラスタリング特性を実現する方法を分析し、細粒度と粗粒度の両方でクラスタリング性能を効果的に向上し、本質的により構造化され意味のある表現を形作ることを示した。

関連論文リスト

• GCC: Generative Calibration Clustering [55.44944397168619]
  本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。 まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。 第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
  論文  参考訳（メタデータ） (2024-04-14T01:51:11Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
  潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。 本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
  論文  参考訳（メタデータ） (2021-08-16T11:52:08Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。