論文の概要: Federated Momentum Contrastive Clustering
- arxiv url: http://arxiv.org/abs/2206.05093v1
- Date: Fri, 10 Jun 2022 13:37:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 15:38:09.605203
- Title: Federated Momentum Contrastive Clustering
- Title(参考訳): フェデレーションモーメントコントラストクラスタリング
- Authors: Runxuan Miao and Erdem Koyuncu
- Abstract要約: FedMCCでは、変換されたデータペアがオンラインネットワークとターゲットネットワークの両方を通過し、結果として損失が決定される4つの表現が生成される。
我々は,MSCがSTL-10やImageNet-10のような特定のデータセットにおいて,最先端のクラスタリング精度を実現することを示す。
- 参考スコア(独自算出の注目度): 14.048989759890475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present federated momentum contrastive clustering (FedMCC), a learning
framework that can not only extract discriminative representations over
distributed local data but also perform data clustering. In FedMCC, a
transformed data pair passes through both the online and target networks,
resulting in four representations over which the losses are determined. The
resulting high-quality representations generated by FedMCC can outperform
several existing self-supervised learning methods for linear evaluation and
semi-supervised learning tasks. FedMCC can easily be adapted to ordinary
centralized clustering through what we call momentum contrastive clustering
(MCC). We show that MCC achieves state-of-the-art clustering accuracy results
in certain datasets such as STL-10 and ImageNet-10. We also present a method to
reduce the memory footprint of our clustering schemes.
- Abstract(参考訳): 本研究では,分散局所データ上での識別表現を抽出するだけでなく,データクラスタリングを行う学習フレームワークであるfedmcc(federated momentum contrastive clustering)を提案する。
fedmccでは、変換されたデータペアがオンラインネットワークとターゲットネットワークの両方を通過し、損失が決定される4つの表現が生成される。
fedmccが生成する高品質表現は、線形評価や半教師付き学習タスクのための既存の自己教師付き学習手法を上回ることができる。
FedMCCは、モーメントコントラストクラスタリング(MCC)と呼ばれる方法で、通常の集中クラスタリングに容易に適用できます。
我々は,MSCがSTL-10やImageNet-10のような特定のデータセットにおいて,最先端のクラスタリング精度を実現することを示す。
また,クラスタ化方式のメモリフットプリントを削減する手法を提案する。
関連論文リスト
- Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-24T08:59:51Z) - Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。
これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。
この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
論文 参考訳(メタデータ) (2024-08-20T09:05:44Z) - CCFC: Bridging Federated Clustering and Contrastive Learning [9.91610928326645]
本稿では,クラスタコントラスト・フェデレーション・クラスタリング(CCFC)という新しいフェデレーション・クラスタリング手法を提案する。
CCFCは、実用的な観点から、デバイス障害を扱う上で優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-12T15:26:44Z) - A One-shot Framework for Distributed Clustered Learning in Heterogeneous
Environments [54.172993875654015]
異種環境における分散学習のためのコミュニケーション効率化手法のファミリーを提案する。
ユーザによるローカル計算に基づくワンショットアプローチと、サーバにおけるクラスタリングベースのアグリゲーションステップは、強力な学習保証を提供する。
厳密な凸問題に対しては,ユーザ毎のデータ点数がしきい値を超える限り,提案手法はサンプルサイズの観点から順序最適平均二乗誤差率を達成する。
論文 参考訳(メタデータ) (2022-09-22T09:04:10Z) - Deep Attention-guided Graph Clustering with Dual Self-supervision [49.040136530379094]
デュアル・セルフ・スーパービジョン(DAGC)を用いたディープアテンション誘導グラフクラスタリング法を提案する。
我々は,三重項Kulback-Leibler分散損失を持つソフトな自己スーパービジョン戦略と,擬似的な監督損失を持つハードな自己スーパービジョン戦略からなる二重自己スーパービジョンソリューションを開発する。
提案手法は6つのベンチマークデータセットにおける最先端の手法より一貫して優れている。
論文 参考訳(メタデータ) (2021-11-10T06:53:03Z) - Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。
実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2021-09-11T09:26:52Z) - Neural Mixture Models with Expectation-Maximization for End-to-end Deep
Clustering [0.8543753708890495]
本稿では,ニューラルネットワークを用いた混合モデルに基づくクラスタリングを実現する。
我々は,Eステップとして前方パス,Mステップとして後方パスを動作させるバッチワイズEMイテレーションにより,ネットワークのエンドツーエンドをトレーニングする。
トレーニングされたネットワークは、k-meansに依存した単一ステージのディープクラスタリング手法よりも優れています。
論文 参考訳(メタデータ) (2021-07-06T08:00:58Z) - Very Compact Clusters with Structural Regularization via Similarity and
Connectivity [3.779514860341336]
本稿では,汎用データセットのためのエンドツーエンドのディープクラスタリングアルゴリズムであるVery Compact Clusters (VCC)を提案する。
提案手法は,最先端のクラスタリング手法よりも優れたクラスタリング性能を実現する。
論文 参考訳(メタデータ) (2021-06-09T23:22:03Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳(メタデータ) (2021-06-03T14:59:59Z) - Contrastive Clustering [57.71729650297379]
本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。
特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-09-21T08:54:40Z) - LSD-C: Linearly Separable Deep Clusters [145.89790963544314]
ラベルなしデータセットのクラスタを識別する新しい手法であるLSD-Cを提案する。
本手法は,最近の半教師付き学習の実践からインスピレーションを得て,クラスタリングアルゴリズムと自己教師付き事前学習と強力なデータ拡張を組み合わせることを提案する。
CIFAR 10/100, STL 10, MNIST, および文書分類データセットReuters 10Kなど, 一般的な公開画像ベンチマークにおいて, 当社のアプローチが競合より大幅に優れていたことを示す。
論文 参考訳(メタデータ) (2020-06-17T17:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。