論文の概要: Stable Cluster Discrimination for Deep Clustering
- arxiv url: http://arxiv.org/abs/2311.14310v1
- Date: Fri, 24 Nov 2023 06:43:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 15:51:28.431871
- Title: Stable Cluster Discrimination for Deep Clustering
- Title（参考訳）: 深部クラスタリングのための安定クラスタ識別
- Authors: Qi Qian
- Abstract要約: ディープクラスタリングは、インスタンスの表現(つまり、表現学習)を最適化し、固有のデータ分散を探索することができる。
結合された目的は、すべてのインスタンスが一様機能に崩壊する、自明な解決策を意味する。
本研究では,1段階クラスタリングにおいて,教師あり学習における一般的な識別タスクが不安定であることを示す。
新規な安定クラスタ識別(SeCu)タスクを提案し、それに応じて新しいハードネス対応クラスタリング基準を得ることができる。
- 参考スコア（独自算出の注目度）: 7.175082696240088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep clustering can optimize representations of instances (i.e.,
representation learning) and explore the inherent data distribution (i.e.,
clustering) simultaneously, which demonstrates a superior performance over
conventional clustering methods with given features. However, the coupled
objective implies a trivial solution that all instances collapse to the uniform
features. To tackle the challenge, a two-stage training strategy is developed
for decoupling, where it introduces an additional pre-training stage for
representation learning and then fine-tunes the obtained model for clustering.
Meanwhile, one-stage methods are developed mainly for representation learning
rather than clustering, where various constraints for cluster assignments are
designed to avoid collapsing explicitly. Despite the success of these methods,
an appropriate learning objective tailored for deep clustering has not been
investigated sufficiently. In this work, we first show that the prevalent
discrimination task in supervised learning is unstable for one-stage clustering
due to the lack of ground-truth labels and positive instances for certain
clusters in each mini-batch. To mitigate the issue, a novel stable cluster
discrimination (SeCu) task is proposed and a new hardness-aware clustering
criterion can be obtained accordingly. Moreover, a global entropy constraint
for cluster assignments is studied with efficient optimization. Extensive
experiments are conducted on benchmark data sets and ImageNet. SeCu achieves
state-of-the-art performance on all of them, which demonstrates the
effectiveness of one-stage deep clustering. Code is available at
\url{https://github.com/idstcv/SeCu}.
- Abstract（参考訳）: ディープクラスタリングは、インスタンスの表現(例:表現学習)を最適化し、固有のデータ分散(例:クラスタリング)を同時に探索することができる。
しかし、結合された目的は全てのインスタンスが一様特徴に崩壊する自明な解を意味する。
この課題に対処するために、デカップリングのための2段階のトレーニング戦略を開発し、表現学習のための追加の事前学習ステージを導入し、得られたクラスタリングモデルの微調整を行う。
一方,クラスタリングよりも表現学習を主目的とした一段階法が開発され,クラスタ割り当てに対する制約が明確になるのを避けるために設計されている。
これらの手法の成功にもかかわらず、深層クラスタリングに適した学習目標が十分に研究されていない。
本研究では,各ミニバッチにおける基底ラベルの欠如とクラスタの正のインスタンスの欠如により,教師付き学習における一般的な識別タスクが1段階クラスタリングでは不安定であることを示す。
問題を緩和するため、新しい安定クラスタ識別(SeCu)タスクを提案し、それに応じて新しい硬度対応クラスタリング基準を得ることができる。
さらに,クラスタ割り当てに対する大域的エントロピー制約を効率的な最適化により検討した。
ベンチマークデータセットとimagenetで広範な実験が行われている。
SeCuは、これらすべてに対して最先端のパフォーマンスを実現し、1段階のディープクラスタリングの有効性を示す。
コードは \url{https://github.com/idstcv/SeCu} で入手できる。
関連論文リスト
- GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。
まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。
第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文 参考訳（メタデータ） (2024-04-14T01:51:11Z) - Deep Embedding Clustering Driven by Sample Stability [16.53706617383543]
サンプル安定性(DECS)により駆動されるディープ埋め込みクラスタリングアルゴリズムを提案する。
具体的には、まずオートエンコーダで初期特徴空間を構築し、次にサンプル安定性に制約されたクラスタ指向の埋め込み機能を学ぶ。
5つのデータセットに対する実験結果から,提案手法は最先端のクラスタリング手法と比較して優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-01-29T09:19:49Z) - Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。
提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。
フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
論文 参考訳（メタデータ） (2023-08-13T18:12:28Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T08:23:26Z) - Self-Evolutionary Clustering [1.662966122370634]
既存のディープクラスタリング手法の多くは、単純な距離比較に基づいており、手作り非線形マッピングによって生成されたターゲット分布に大きく依存している。
新たなモジュール型自己進化クラスタリング(Self-EvoC)フレームワークが構築され,自己管理的な分類によってクラスタリング性能が向上する。
このフレームワークは、サンプルアウトレイラを効率よく識別し、自己監督の助けを借りて、より良い目標分布を生成することができる。
論文 参考訳（メタデータ） (2022-02-21T19:38:18Z) - Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。
実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2021-09-11T09:26:52Z) - Learning the Precise Feature for Cluster Assignment [39.320210567860485]
表現学習とクラスタリングを1つのパイプラインに初めて統合するフレームワークを提案する。
提案フレームワークは,近年開発された生成モデルを用いて,本質的な特徴を学習する能力を活用している。
実験の結果,提案手法の性能は,最先端の手法よりも優れているか,少なくとも同等であることがわかった。
論文 参考訳（メタデータ） (2021-06-11T04:08:54Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-06-03T14:59:59Z) - Unsupervised Visual Representation Learning by Online Constrained
K-Means [44.38989920488318]
クラスタ識別は、教師なし表現学習の効果的な前提課題である。
オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。
当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
論文 参考訳（メタデータ） (2021-05-24T20:38:32Z) - Graph Contrastive Clustering [131.67881457114316]
本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。
特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。
一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
論文 参考訳（メタデータ） (2021-04-03T15:32:49Z) - Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。
我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文 参考訳（メタデータ） (2020-10-22T15:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。