論文の概要: Supporting Clustering with Contrastive Learning
- arxiv url: http://arxiv.org/abs/2103.12953v1
- Date: Wed, 24 Mar 2021 03:05:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-25 14:13:26.953156
- Title: Supporting Clustering with Contrastive Learning
- Title(参考訳): コントラスト学習によるクラスタリング支援
- Authors: Dejiao Zhang, Feng Nan, Xiaokai Wei, Shangwen Li, Henghui Zhu,
Kathleen McKeown, Ramesh Nallapati, Andrew Arnold, Bing Xiang
- Abstract要約: Unsupervised Clusteringは、表現空間で測定された距離に応じて、データのセマンティックなカテゴリを発見することを目的とする。
異なるカテゴリは、学習プロセスの開始時に表現空間で互いに重なることが多い。
コントラスト学習によるクラスタリングのサポート - コントラスト学習を活用してより良い分離を促進する新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 19.71262627336737
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Unsupervised clustering aims at discovering the semantic categories of data
according to some distance measured in the representation space. However,
different categories often overlap with each other in the representation space
at the beginning of the learning process, which poses a significant challenge
for distance-based clustering in achieving good separation between different
categories. To this end, we propose Supporting Clustering with Contrastive
Learning (SCCL) -- a novel framework to leverage contrastive learning to
promote better separation. We assess the performance of SCCL on short text
clustering and show that SCCL significantly advances the state-of-the-art
results on most benchmark datasets with 3%-11% improvement on Accuracy and
4%-15% improvement on Normalized Mutual Information. Furthermore, our
quantitative analysis demonstrates the effectiveness of SCCL in leveraging the
strengths of both bottom-up instance discrimination and top-down clustering to
achieve better intra-cluster and inter-cluster distances when evaluated with
the ground truth cluster labels
- Abstract(参考訳): 教師なしクラスタリングは、表現空間で測定された距離に応じてデータのセマンティックなカテゴリを見つけることを目的としている。
しかし、異なるカテゴリは学習プロセスの始めの表現空間において重複することが多く、異なるカテゴリを適切に分離する上で、距離ベースのクラスタリングにおいて大きな課題となる。
そこで本研究では,コントラスト学習(sccl)を用いたクラスタリングを支援することを提案する。
短いテキストクラスタリングにおけるscclの性能を評価し,多くのベンチマークデータセットにおいて,3%-11%の精度向上と4%-15%の正規化相互情報改善により,scclは最先端の結果を著しく向上していることを示した。
さらに,本定量分析では,ボトムアップインスタンス識別とトップダウンクラスタリングの両方の長所を利用して,地上の真理クラスタラベルを用いて評価すると,クラスタ内およびクラスタ間距離が向上することを示す。
関連論文リスト
- Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-24T08:59:51Z) - CCFC: Bridging Federated Clustering and Contrastive Learning [9.91610928326645]
本稿では,クラスタコントラスト・フェデレーション・クラスタリング(CCFC)という新しいフェデレーション・クラスタリング手法を提案する。
CCFCは、実用的な観点から、デバイス障害を扱う上で優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-12T15:26:44Z) - CLC: Cluster Assignment via Contrastive Representation Learning [9.631532215759256]
コントラスト学習を用いてクラスタ割り当てを直接学習するコントラスト学習ベースのクラスタリング(CLC)を提案する。
完全なImageNetデータセットで53.4%の精度を実現し、既存のメソッドを大きなマージンで上回ります。
論文 参考訳(メタデータ) (2023-06-08T07:15:13Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z) - Cluster Analysis with Deep Embeddings and Contrastive Learning [0.0]
本研究は,深層埋め込みから画像クラスタリングを行うための新しいフレームワークを提案する。
提案手法では,クラスタセンターの表現をエンドツーエンドで学習し,予測する。
我々のフレームワークは広く受け入れられているクラスタリング手法と同等に動作し、CIFAR-10データセット上で最先端のコントラスト学習手法より優れています。
論文 参考訳(メタデータ) (2021-09-26T22:18:15Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳(メタデータ) (2021-06-03T14:59:59Z) - Graph Contrastive Clustering [131.67881457114316]
本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。
特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。
一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
論文 参考訳(メタデータ) (2021-04-03T15:32:49Z) - Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。
従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。
コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
論文 参考訳(メタデータ) (2021-03-03T20:20:48Z) - Contrastive Clustering [57.71729650297379]
本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。
特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-09-21T08:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。