論文の概要: CLC: Cluster Assignment via Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2306.05439v1
• Date: Thu, 8 Jun 2023 07:15:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 16:04:10.223951
• Title: CLC: Cluster Assignment via Contrastive Representation Learning
• Title（参考訳）: CLC: コントラスト表現学習によるクラスタ割り当て
• Authors: Fei Ding, Dan Zhang, Yin Yang, Venkat Krovi, Feng Luo
• Abstract要約: コントラスト学習を用いてクラスタ割り当てを直接学習するコントラスト学習ベースのクラスタリング(CLC)を提案する。 完全なImageNetデータセットで53.4%の精度を実現し、既存のメソッドを大きなマージンで上回ります。
• 参考スコア（独自算出の注目度）: 9.631532215759256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clustering remains an important and challenging task of grouping samples into clusters without manual annotations. Recent works have achieved excellent results on small datasets by performing clustering on feature representations learned from self-supervised learning. However, for datasets with a large number of clusters, such as ImageNet, current methods still can not achieve high clustering performance. In this paper, we propose Contrastive Learning-based Clustering (CLC), which uses contrastive learning to directly learn cluster assignment. We decompose the representation into two parts: one encodes the categorical information under an equipartition constraint, and the other captures the instance-wise factors. We propose a contrastive loss using both parts of the representation. We theoretically analyze the proposed contrastive loss and reveal that CLC sets different weights for the negative samples while learning cluster assignments. Further gradient analysis shows that the larger weights tend to focus more on the hard negative samples. Therefore, the proposed loss has high expressiveness that enables us to efficiently learn cluster assignments. Experimental evaluation shows that CLC achieves overall state-of-the-art or highly competitive clustering performance on multiple benchmark datasets. In particular, we achieve 53.4% accuracy on the full ImageNet dataset and outperform existing methods by large margins (+ 10.2%).
• Abstract（参考訳）: クラスタリングは、手動のアノテーションなしでサンプルをクラスタにグループ化する、重要かつ困難なタスクである。 最近の研究は、自己教師付き学習から学んだ特徴表現をクラスタリングすることで、小さなデータセットで優れた成果を上げている。 しかし、ImageNetのような多数のクラスタを持つデータセットでは、現在のメソッドは高いクラスタリング性能を達成できない。 本稿では、コントラスト学習を用いてクラスタ割り当てを直接学習するコントラスト学習ベースのクラスタリング(CLC)を提案する。 表現を2つの部分に分解する: 1つは等分制約の下で分類情報をエンコードし、もう1つはインスタンスワイズ因子をキャプチャする。 表現の両部分を用いた対比的損失を提案する。 提案するコントラスト損失を理論的に解析し,clcがクラスタ割り当てを学習しながら負のサンプルに対して異なる重みを設定することを明らかにした。 さらなる勾配解析により、より大きい重量はより硬い負のサンプルに焦点を合わせる傾向にあることが示された。 したがって、提案する損失は、クラスタ割り当てを効率的に学習できる表現力が高い。 実験により、CLCは複数のベンチマークデータセット上で、最先端または高い競争力を持つクラスタリング性能を達成することが示された。 特に、完全なImageNetデータセットで53.4%の精度を実現し、既存のメソッドを大きなマージン(10.2%以上)で上回ります。

関連論文リスト

• Stable Cluster Discrimination for Deep Clustering [7.175082696240088]
  ディープクラスタリングは、インスタンスの表現(つまり、表現学習)を最適化し、固有のデータ分散を探索することができる。 結合された目的は、すべてのインスタンスが一様機能に崩壊する、自明な解決策を意味する。 本研究では,1段階クラスタリングにおいて,教師あり学習における一般的な識別タスクが不安定であることを示す。 新規な安定クラスタ識別(SeCu)タスクを提案し、それに応じて新しいハードネス対応クラスタリング基準を得ることができる。
  論文  参考訳（メタデータ） (2023-11-24T06:43:26Z)
• C3: Cross-instance guided Contrastive Clustering [8.953252452851862]
  クラスタリングは、事前に定義されたラベルを使わずに、類似したデータサンプルをクラスタに収集するタスクである。 我々は,新しいコントラストクラスタリング手法であるクロスインスタンスガイドコントラストクラスタリング(C3)を提案する。 提案手法は、ベンチマークコンピュータビジョンデータセット上で最先端のアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2022-11-14T06:28:07Z)
• Self-supervised Contrastive Attributed Graph Clustering [110.52694943592974]
  我々は,自己教師型コントラストグラフクラスタリング(SCAGC)という,新たな属性グラフクラスタリングネットワークを提案する。 SCAGCでは,不正確なクラスタリングラベルを活用することで,ノード表現学習のための自己教師付きコントラスト損失を設計する。 OOSノードでは、SCAGCはクラスタリングラベルを直接計算できる。
  論文  参考訳（メタデータ） (2021-10-15T03:25:28Z)
• Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
  StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。 実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-09-11T09:26:52Z)
• Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
  本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。 提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-24T15:36:49Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Unsupervised Visual Representation Learning by Online Constrained K-Means [44.38989920488318]
  クラスタ識別は、教師なし表現学習の効果的な前提課題である。 オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。 当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
  論文  参考訳（メタデータ） (2021-05-24T20:38:32Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Contrastive Clustering [57.71729650297379]
  本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。 特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-21T08:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。