論文の概要: Deep Clustering by Semantic Contrastive Learning

• arxiv url: http://arxiv.org/abs/2103.02662v1
• Date: Wed, 3 Mar 2021 20:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 15:00:45.342673
• Title: Deep Clustering by Semantic Contrastive Learning
• Title（参考訳）: Semantic Contrastive Learningによる深層クラスタリング
• Authors: Jiabo Huang and Shaogang Gong
• Abstract要約: Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
• 参考スコア（独自算出の注目度）: 67.28140787010447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whilst contrastive learning has achieved remarkable success in self-supervised representation learning, its potential for deep clustering remains unknown. This is due to its fundamental limitation that the instance discrimination strategy it takes is not class sensitive and hence unable to reason about the underlying decision boundaries between semantic concepts or classes. In this work, we solve this problem by introducing a novel variant called Semantic Contrastive Learning (SCL). It explores the characteristics of both conventional contrastive learning and deep clustering by imposing distance-based cluster structures on unlabelled training data and also introducing a discriminative contrastive loss formulation. For explicitly modelling class boundaries on-the-fly, we further formulate a clustering consistency condition on the two different predictions given by visual similarities and semantic decision boundaries. By advancing implicit representation learning towards explicit understandings of visual semantics, SCL can amplify jointly the strengths of contrastive learning and deep clustering in a unified approach. Extensive experiments show that the proposed model outperforms the state-of-the-art deep clustering methods on six challenging object recognition benchmarks, especially on finer-grained and larger datasets.
• Abstract（参考訳）: 自己指導型表現学習では対照的な学習が顕著に成功したが、深層クラスタリングの可能性はいまだ不明である。 これは、インスタンスの識別戦略がクラスに敏感ではなく、セマンティクスの概念とクラスの間の基本的な決定境界を推論できないという根本的な制限のためである。 本研究では,SCL(Semantic Contrastive Learning)と呼ばれる新しい変種を導入することで,この問題を解決する。 従来のコントラスト学習とディープクラスタリングの両方の特徴を,非ラベル付きトレーニングデータに距離ベースのクラスタ構造を付与し,差別的コントラストロス定式化を導入することで検討する。 クラス境界をオンザフライで明確にモデリングするために、視覚的類似性と意味的決定境界によって与えられる2つの異なる予測に基づいてクラスタリング整合性条件を更に定式化する。 視覚意味論の明示的な理解に向けて暗黙的な表現学習を進めることで、SCLは対照的な学習と深いクラスタリングの強みを統一的なアプローチで強化することができる。 広範な実験により、提案手法は6つの挑戦的オブジェクト認識ベンチマーク、特に粒度の細かいデータセットにおいて、最先端のディープクラスタリング手法よりも優れていることが示された。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Cluster-based Contrastive Disentangling for Generalized Zero-Shot Learning [25.92340532509084]
  Generalized Zero-Shot Learning (GZSL) は、目に見えないクラスと見えないクラスの両方を認識することを目的としている。 本稿では,クラスタベースのContrastive Disentangling(CCD)手法を提案する。
  論文  参考訳（メタデータ） (2022-03-05T02:50:12Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Cluster Analysis with Deep Embeddings and Contrastive Learning [0.0]
  本研究は,深層埋め込みから画像クラスタリングを行うための新しいフレームワークを提案する。 提案手法では,クラスタセンターの表現をエンドツーエンドで学習し,予測する。 我々のフレームワークは広く受け入れられているクラスタリング手法と同等に動作し、CIFAR-10データセット上で最先端のコントラスト学習手法より優れています。
  論文  参考訳（メタデータ） (2021-09-26T22:18:15Z)
• Learning the Precise Feature for Cluster Assignment [39.320210567860485]
  表現学習とクラスタリングを1つのパイプラインに初めて統合するフレームワークを提案する。 提案フレームワークは,近年開発された生成モデルを用いて,本質的な特徴を学習する能力を活用している。 実験の結果,提案手法の性能は,最先端の手法よりも優れているか,少なくとも同等であることがわかった。
  論文  参考訳（メタデータ） (2021-06-11T04:08:54Z)
• Clustering-friendly Representation Learning via Instance Discrimination and Feature Decorrelation [0.0]
  本稿では,インスタンス識別と特徴デコレーションを用いたクラスタリングに親しみやすい表現学習手法を提案する。 CIFAR-10とImageNet-10を用いた画像クラスタリングの評価では,それぞれ81.5%,95.4%の精度が得られた。
  論文  参考訳（メタデータ） (2021-05-31T22:59:31Z)
• Deep Fair Discriminative Clustering [24.237000220172906]
  2値および多状態保護状態変数(PSV)に対するグループレベルの公正性の一般概念について検討する。 本稿では,クラスタリング目標とフェアネス目標とを組み合わせて,フェアクラスタを適応的に学習する改良学習アルゴリズムを提案する。 本フレームワークは, フレキシブルフェアネス制約, マルチステートPSV, 予測クラスタリングなど, 新規なクラスタリングタスクに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2021-05-28T23:50:48Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。