論文の概要: Unsupervised Visual Representation Learning by Online Constrained K-Means

• arxiv url: http://arxiv.org/abs/2105.11527v1
• Date: Mon, 24 May 2021 20:38:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 14:14:02.005826
• Title: Unsupervised Visual Representation Learning by Online Constrained K-Means
• Title（参考訳）: オンライン制約K平均による教師なし視覚表現学習
• Authors: Qi Qian, Yuanhong Xu, Juhua Hu, Hao Li, Rong Jin
• Abstract要約: クラスタ識別は、教師なし表現学習の効果的な前提課題である。 オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。 当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
• 参考スコア（独自算出の注目度）: 44.38989920488318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cluster discrimination is an effective pretext task for unsupervised representation learning, which often consists of two phases: clustering and discrimination. Clustering is to assign each instance a pseudo label that will be used to learn representations in discrimination. The main challenge resides in clustering since many prevalent clustering methods (e.g., k-means) have to run in a batch mode that goes multiple iterations over the whole data. Recently, a balanced online clustering method, i.e., SwAV, is proposed for representation learning. However, the assignment is optimized within only a small subset of data, which can be suboptimal. To address these challenges, we first investigate the objective of clustering-based representation learning from the perspective of distance metric learning. Based on this, we propose a novel clustering-based pretext task with online \textbf{Co}nstrained \textbf{K}-m\textbf{e}ans (\textbf{CoKe}) to learn representations and relations between instances simultaneously. Compared with the balanced clustering that each cluster has exactly the same size, we only constrain the minimum size of clusters to flexibly capture the inherent data structure. More importantly, our online assignment method has a theoretical guarantee to approach the global optimum. Finally, two variance reduction strategies are proposed to make the clustering robust for different augmentations. Without keeping representations of instances, the data is accessed in an online mode in CoKe while a single view of instances at each iteration is sufficient to demonstrate a better performance than contrastive learning methods relying on two views. Extensive experiments on ImageNet verify the efficacy of our proposal. Code will be released.
• Abstract（参考訳）: クラスタ識別は教師なし表現学習に有効なプリテキストタスクであり、クラスタリングと識別の2つのフェーズで構成されることが多い。 クラスタリングは、各インスタンスに識別における表現の学習に使用される擬似ラベルを割り当てることである。 多くの一般的なクラスタリングメソッド(k-meansなど)は、データ全体にわたって複数のイテレーションを行うバッチモードで実行する必要があるため、主な課題はクラスタリングにある。 近年,表現学習のためのバランスの取れたオンラインクラスタリング手法,すなわちSwaVが提案されている。 しかし、割り当てはデータの小さなサブセットでのみ最適化され、サブ最適にすることができる。 これらの課題に対処するために,距離メトリック学習の観点からクラスタリングに基づく表現学習の目的について検討する。 そこで本研究では,オンライン \textbf{Co}nstrained \textbf{K}-m\textbf{e}ans (\textbf{CoKe}) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。 各クラスタが全く同じサイズであるバランスの取れたクラスタリングと比較すると、クラスタの最小サイズのみを制約して、固有のデータ構造を柔軟にキャプチャします。 さらに重要なことに、オンライン割り当て手法は、グローバル最適化にアプローチするための理論的保証を持っています。 最後に、2つの分散低減戦略を提案し、異なる拡張のためにクラスタリングを堅牢にする。 インスタンスの表現を保持することなく、データはコークスのオンラインモードでアクセスされ、各イテレーションのインスタンスの単一のビューは、2つのビューに依存するコントラスト学習メソッドよりも優れたパフォーマンスを示すのに十分である。 ImageNetの大規模な実験により提案手法の有効性が検証された。 コードはリリースされる。

関連論文リスト

• Stable Cluster Discrimination for Deep Clustering [7.175082696240088]
  ディープクラスタリングは、インスタンスの表現(つまり、表現学習)を最適化し、固有のデータ分散を探索することができる。 結合された目的は、すべてのインスタンスが一様機能に崩壊する、自明な解決策を意味する。 本研究では,1段階クラスタリングにおいて,教師あり学習における一般的な識別タスクが不安定であることを示す。 新規な安定クラスタ識別(SeCu)タスクを提案し、それに応じて新しいハードネス対応クラスタリング基準を得ることができる。
  論文  参考訳（メタデータ） (2023-11-24T06:43:26Z)
• Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
  本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。 フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
  論文  参考訳（メタデータ） (2023-08-13T18:12:28Z)
• CLC: Cluster Assignment via Contrastive Representation Learning [9.631532215759256]
  コントラスト学習を用いてクラスタ割り当てを直接学習するコントラスト学習ベースのクラスタリング(CLC)を提案する。 完全なImageNetデータセットで53.4%の精度を実現し、既存のメソッドを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2023-06-08T07:15:13Z)
• Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
  オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。 オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。 本稿では,データ拡張を必要としない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:23:26Z)
• Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
  StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。 実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-09-11T09:26:52Z)
• Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
  本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。 提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-24T15:36:49Z)
• Learning the Precise Feature for Cluster Assignment [39.320210567860485]
  表現学習とクラスタリングを1つのパイプラインに初めて統合するフレームワークを提案する。 提案フレームワークは,近年開発された生成モデルを用いて,本質的な特徴を学習する能力を活用している。 実験の結果,提案手法の性能は,最先端の手法よりも優れているか,少なくとも同等であることがわかった。
  論文  参考訳（メタデータ） (2021-06-11T04:08:54Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。