論文の概要: Online Deep Clustering for Unsupervised Representation Learning
- arxiv url: http://arxiv.org/abs/2006.10645v1
- Date: Thu, 18 Jun 2020 16:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 13:14:19.801495
- Title: Online Deep Clustering for Unsupervised Representation Learning
- Title(参考訳): 教師なし表現学習のためのオンライン深層クラスタリング
- Authors: Xiaohang Zhan, Jiahao Xie, Ziwei Liu, Yew Soon Ong, Chen Change Loy
- Abstract要約: オンラインディープクラスタリング(ODC)は、交互にではなく、クラスタリングとネットワーク更新を同時に実行する。
我々は,2つの動的メモリモジュール,すなわち,サンプルラベルと特徴を格納するサンプルメモリと,セントロイド進化のためのセントロイドメモリを設計,維持する。
このように、ラベルとネットワークは交互にではなく肩から肩へと進化する。
- 参考スコア(独自算出の注目度): 108.33534231219464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Joint clustering and feature learning methods have shown remarkable
performance in unsupervised representation learning. However, the training
schedule alternating between feature clustering and network parameters update
leads to unstable learning of visual representations. To overcome this
challenge, we propose Online Deep Clustering (ODC) that performs clustering and
network update simultaneously rather than alternatingly. Our key insight is
that the cluster centroids should evolve steadily in keeping the classifier
stably updated. Specifically, we design and maintain two dynamic memory
modules, i.e., samples memory to store samples labels and features, and
centroids memory for centroids evolution. We break down the abrupt global
clustering into steady memory update and batch-wise label re-assignment. The
process is integrated into network update iterations. In this way, labels and
the network evolve shoulder-to-shoulder rather than alternatingly. Extensive
experiments demonstrate that ODC stabilizes the training process and boosts the
performance effectively. Code: https://github.com/open-mmlab/OpenSelfSup.
- Abstract(参考訳): 共同クラスタリングと特徴学習は教師なし表現学習において顕著な性能を示した。
しかし、機能クラスタリングとネットワークパラメータの更新を交互に行うトレーニングスケジュールは、視覚表現の不安定な学習につながる。
この課題を克服するため,我々は,クラスタ化とネットワーク更新を同時に行うオンラインディープクラスタリング(odc)を提案する。
私たちの重要な洞察は、クラスタセントロイドは安定して分類器を更新し続けるために着実に進化すべきであるということです。
具体的には,2つの動的メモリモジュール,すなわちサンプルのラベルや特徴を格納するサンプルメモリと,centroids 進化のためのcentroidsメモリを設計し,維持する。
我々は、突然のグローバルクラスタリングを定常メモリ更新とバッチ単位のラベル再割り当てに分解する。
このプロセスはネットワーク更新イテレーションに統合される。
このようにラベルとネットワークは交流ではなく肩からショルダーへと進化する。
大規模な実験により、ODCはトレーニングプロセスを安定させ、性能を効果的に向上させることを示した。
コード:https://github.com/open-mmlab/OpenSelfSup
関連論文リスト
- Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。
提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。
フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
論文 参考訳(メタデータ) (2023-08-13T18:12:28Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳(メタデータ) (2023-03-29T08:23:26Z) - Dual Cluster Contrastive learning for Person Re-Identification [78.42770787790532]
私たちはDual Cluster Contrastive Learning(DCC)という統合クラスタコントラストフレームワークを定式化します。
DCCは、個々のメモリバンクとセントロイドクラスタメモリバンクの2種類のメモリバンクを維持している。
教師なしまたは監督されていない人物のReIDに容易に適用できる。
論文 参考訳(メタデータ) (2021-12-09T02:43:25Z) - Unsupervised Person Re-identification with Stochastic Training Strategy [29.639040901941726]
最先端の教師なしのre-IDメソッドは通常、クラスタリングベースの戦略に従う。
画像がセントロイドに近づくように強制すると、クラスタリングの結果が強調される。
従来手法では、異なるトレーニングイテレーションで得られた特徴を利用して1セントロイドを表現していた。
学習戦略を用いた教師なしのre-IDアプローチを提案する。
論文 参考訳(メタデータ) (2021-08-16T07:23:58Z) - Selective Pseudo-label Clustering [42.19193184852487]
ディープニューラルネットワーク(DNN)は、高次元データをクラスタリングする困難なタスクに対処する手段を提供する。
DNNのトレーニングに最も自信のある擬似ラベルのみを用いる選択的擬似ラベルクラスタリングを提案する。
新しいアプローチは、3つの人気のある画像データセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-07-22T13:56:53Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳(メタデータ) (2021-06-03T14:59:59Z) - Unsupervised Visual Representation Learning by Online Constrained
K-Means [44.38989920488318]
クラスタ識別は、教師なし表現学習の効果的な前提課題である。
オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。
当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
論文 参考訳(メタデータ) (2021-05-24T20:38:32Z) - Unsupervised Person Re-identification via Softened Similarity Learning [122.70472387837542]
人物再識別(re-ID)はコンピュータビジョンにおいて重要なトピックである。
本稿では,ラベル付き情報を必要としないre-IDの教師なし設定について検討する。
2つの画像ベースおよびビデオベースデータセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳(メタデータ) (2020-04-07T17:16:41Z) - GATCluster: Self-Supervised Gaussian-Attention Network for Image
Clustering [9.722607434532883]
画像クラスタリングのための自己教師型クラスタリングネットワーク(GATCluster)を提案する。
まず中間機能を抽出し、次に従来のクラスタリングを実行する代わりに、GATClusterセマンティッククラスタラベルを後処理なしで実行します。
大規模画像のクラスタリングにメモリ効率のよい2段階学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-02-27T00:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。