論文の概要: Exploring Non-Contrastive Representation Learning for Deep Clustering
- arxiv url: http://arxiv.org/abs/2111.11821v1
- Date: Tue, 23 Nov 2021 12:21:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-24 15:25:40.435690
- Title: Exploring Non-Contrastive Representation Learning for Deep Clustering
- Title（参考訳）: 深層クラスタリングのための非コントラスト表現学習の探索
- Authors: Zhizhong Huang, Jie Chen, Junping Zhang, Hongming Shan
- Abstract要約: ディープクラスタリングのための非コントラスト表現学習は、負の例のない代表的手法であるBYOLに基づいている。
NCCは、すべてのクラスタが十分に分離され、クラスタ内の例がコンパクトな埋め込み空間を形成する。
ImageNet-1Kを含むいくつかのクラスタリングベンチマークデータセットの実験結果は、NCCが最先端の手法よりかなり優れていることを示している。
- 参考スコア（独自算出の注目度）: 23.546602131801205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing deep clustering methods rely on contrastive learning for
representation learning, which requires negative examples to form an embedding
space where all instances are well-separated. However, the negative examples
inevitably give rise to the class collision issue, compromising the
representation learning for clustering. In this paper, we explore
non-contrastive representation learning for deep clustering, termed NCC, which
is based on BYOL, a representative method without negative examples. First, we
propose to align one augmented view of instance with the neighbors of another
view in the embedding space, called positive sampling strategy, which avoids
the class collision issue caused by the negative examples and hence improves
the within-cluster compactness. Second, we propose to encourage alignment
between two augmented views of one prototype and uniformity among all
prototypes, named prototypical contrastive loss or ProtoCL, which can maximize
the inter-cluster distance. Moreover, we formulate NCC in an
Expectation-Maximization (EM) framework, in which E-step utilizes spherical
k-means to estimate the pseudo-labels of instances and distribution of
prototypes from a target network and M-step leverages the proposed losses to
optimize an online network. As a result, NCC forms an embedding space where all
clusters are well-separated and within-cluster examples are compact.
Experimental results on several clustering benchmark datasets including
ImageNet-1K demonstrate that NCC outperforms the state-of-the-art methods by a
significant margin.
- Abstract（参考訳）: 既存のディープクラスタリング手法は、表現学習のための対比学習に依存しており、すべてのインスタンスが適切に分離された埋め込み空間を形成するために負の例を必要とする。
しかし、否定的な例は必然的にクラス衝突問題を引き起こし、クラスタリングのための表現学習を妥協する。
本稿では,nccと呼ばれる,負の例のない代表的手法であるbyolに基づく深層クラスタリングのための非連続表現学習について検討する。
まず, 負の例によるクラス衝突の問題を回避し, クラスタ内コンパクト性を向上する, 正のサンプリング戦略と呼ばれる, 埋め込み空間における他のビューの隣人に対する拡張的なビューの調整を提案する。
第2に,プロトタイプの2つの拡張ビューのアライメントと,クラスタ間距離を最大化するプロトタイプ的コントラスト損失(ProtoCL)という,プロトタイプ間の均一性の向上を提案する。
さらに,e-stepが球面k-meansを用いて,ターゲットネットワークからインスタンスの擬似ラベルとプロトタイプの分布を推定するexpectation-maximization(em)フレームワークでnccを定式化し,m-stepが提案する損失を利用してオンラインネットワークを最適化する。
その結果、NCCはすべてのクラスタが十分に分離され、クラスタ内の例がコンパクトな埋め込み空間を形成する。
ImageNet-1Kを含むいくつかのクラスタリングベンチマークデータセットの実験結果は、NCCが最先端の手法よりかなり優れていることを示している。
関連論文リスト
- Deep Contrastive Multi-view Clustering under Semantic Feature Guidance [8.055452424643562]
本稿では,Semantic Feature Guide (DCMCS) の下で,Deep Contrastive Multi-view Clustering というマルチビュークラスタリングフレームワークを提案する。
意味的類似性によって重み付けされたインスタンスレベルのコントラスト損失を最小化することにより、DCMCSは偽陰対間のコントラストの傾きを適応的に弱める。
いくつかの公開データセットの実験結果は、提案したフレームワークが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2024-03-09T02:33:38Z) - Stable Cluster Discrimination for Deep Clustering [7.175082696240088]
ディープクラスタリングは、インスタンスの表現(つまり、表現学習)を最適化し、固有のデータ分散を探索することができる。
結合された目的は、すべてのインスタンスが一様機能に崩壊する、自明な解決策を意味する。
本研究では,1段階クラスタリングにおいて,教師あり学習における一般的な識別タスクが不安定であることを示す。
新規な安定クラスタ識別(SeCu)タスクを提案し、それに応じて新しいハードネス対応クラスタリング基準を得ることができる。
論文 参考訳（メタデータ） (2023-11-24T06:43:26Z) - Enhancing Clustering Representations with Positive Proximity and Cluster
Dispersion Learning [9.396177578282176]
PIPCDRと呼ばれる新しいエンドツーエンドのディープクラスタリング手法を提案する。
PIPCDRは正のインスタンス近接損失とクラスタ分散正規化器を組み込んでいる。
エンドツーエンドのMajorize-MinimizationフレームワークにおけるPIPCDRの有効性を広範囲に検証する。
論文 参考訳（メタデータ） (2023-11-01T06:12:02Z) - Deep Incomplete Multi-view Clustering with Cross-view Partial Sample and
Prototype Alignment [50.82982601256481]
深層不完全なマルチビュークラスタリングのためのクロスビュー部分サンプルとプロトタイプアライメントネットワーク(CPSPAN)を提案する。
従来のコントラストベースの手法とは異なり、インスタンスとインスタンスの対応構築を導くために、ペア観測データアライメントを「プロキシ監視信号」として採用する。
論文 参考訳（メタデータ） (2023-03-28T02:31:57Z) - Cluster-guided Contrastive Graph Clustering Network [53.16233290797777]
クラスタ誘導コントラストグラフクラスタリングネットワーク(CCGC)を提案する。
我々は、兄弟のサブネットワーク間で重みが共有されない特別なシームズエンコーダを設計することにより、グラフの2つのビューを構築する。
意味的な負のサンプルペアを構築するために、異なる高信頼度クラスタの中心を負のサンプルとみなす。
論文 参考訳（メタデータ） (2023-01-03T13:42:38Z) - C3: Cross-instance guided Contrastive Clustering [8.953252452851862]
クラスタリングは、事前に定義されたラベルを使わずに、類似したデータサンプルをクラスタに収集するタスクである。
我々は,新しいコントラストクラスタリング手法であるクロスインスタンスガイドコントラストクラスタリング(C3)を提案する。
提案手法は、ベンチマークコンピュータビジョンデータセット上で最先端のアルゴリズムより優れている。
論文 参考訳（メタデータ） (2022-11-14T06:28:07Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳（メタデータ） (2022-09-27T19:04:36Z) - Cluster Analysis with Deep Embeddings and Contrastive Learning [0.0]
本研究は,深層埋め込みから画像クラスタリングを行うための新しいフレームワークを提案する。
提案手法では,クラスタセンターの表現をエンドツーエンドで学習し,予測する。
我々のフレームワークは広く受け入れられているクラスタリング手法と同等に動作し、CIFAR-10データセット上で最先端のコントラスト学習手法より優れています。
論文 参考訳（メタデータ） (2021-09-26T22:18:15Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-18T07:47:10Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳（メタデータ） (2021-03-09T15:15:32Z) - Contrastive Clustering [57.71729650297379]
本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。
特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-09-21T08:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。