論文の概要: Exploring the Limits of Deep Image Clustering using Pretrained Models

• arxiv url: http://arxiv.org/abs/2303.17896v2
• Date: Thu, 9 Nov 2023 14:44:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 18:30:40.396167
• Title: Exploring the Limits of Deep Image Clustering using Pretrained Models
• Title（参考訳）: 事前学習モデルを用いた深部画像クラスタリングの限界探索
• Authors: Nikolas Adaloglou and Felix Michels and Hamza Kalisch and Markus Kollmann
• Abstract要約: 本稿では,事前学習した特徴抽出器を利用してラベルなしで画像の分類を学習する手法を提案する。 本稿では,画像特徴間の関連性を学習する新たな目的について提案する。
• 参考スコア（独自算出の注目度）: 1.1060425537315088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a general methodology that learns to classify images without labels by leveraging pretrained feature extractors. Our approach involves self-distillation training of clustering heads based on the fact that nearest neighbours in the pretrained feature space are likely to share the same label. We propose a novel objective that learns associations between image features by introducing a variant of pointwise mutual information together with instance weighting. We demonstrate that the proposed objective is able to attenuate the effect of false positive pairs while efficiently exploiting the structure in the pretrained feature space. As a result, we improve the clustering accuracy over $k$-means on $17$ different pretrained models by $6.1$\% and $12.2$\% on ImageNet and CIFAR100, respectively. Finally, using self-supervised vision transformers, we achieve a clustering accuracy of $61.6$\% on ImageNet. The code is available at https://github.com/HHU-MMBS/TEMI-official-BMVC2023.
• Abstract（参考訳）: 本稿では,ラベルを付けずに画像の分類を学習する一般的な手法を提案する。 我々のアプローチは,事前訓練された特徴空間の近傍が同じラベルを共有する可能性が高いという事実に基づいて,クラスタリングヘッドの自己蒸留訓練を行う。 本稿では,画像特徴の関連を学習する新たな目的として,重み付けを併用したポイントワイズ相互情報の変種を提案する。 提案手法は,事前学習した特徴空間の構造を効率的に活用しながら,偽陽性対の効果を弱めることができることを示す。 その結果、ImageNet と CIFAR100 でそれぞれ 6.1$\% と 12.2$\% のクラスタリング精度を 17 ドルの異なる事前訓練モデルで$k$-means で改善した。 最後に、自己監督型視覚変換器を用いて、ImageNetで61.6$\%のクラスタリング精度を実現する。 コードはhttps://github.com/HHU-MMBS/TEMI-official-BMVC2023で公開されている。

関連論文リスト

• CoNe: Contrast Your Neighbours for Supervised Image Classification [62.12074282211957]
  Contrast Your Neighbours (CoNe)は、教師付き画像分類のための学習フレームワークである。 CoNeは、より適応的で洗練されたターゲットを生成するために、類似した隣人の特徴をアンカーとして採用している。 私たちのCoNeは、最近のTimトレーニングレシピを上回るResNet-50で、ImageNetの80.8%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2023-08-21T14:49:37Z)
• Image Clustering via the Principle of Rate Reduction in the Age of Pretrained Models [37.574691902971296]
  本稿では,大規模事前学習モデルの強力な特徴表現を利用した画像クラスタリングパイプラインを提案する。 パイプラインは、CIFAR-10、CIFAR-100、ImageNet-1kなどの標準データセットでうまく動作することを示す。
  論文  参考訳（メタデータ） (2023-06-08T15:20:27Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• mc-BEiT: Multi-choice Discretization for Image BERT Pre-training [52.04866462439979]
  Image BERT pre-training with masked image modeling (MIM)は、自己教師付き表現学習に対処する一般的な実践である。 改良されたBERTスタイルの画像事前学習手法であるmc-BEiTを導入する。
  論文  参考訳（メタデータ） (2022-03-29T09:08:18Z)
• AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation [3.6790362352712873]
  我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。 実験により,低次元空間における画像の表現が可能であることを実証した。 多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
  論文  参考訳（メタデータ） (2021-06-11T09:02:30Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• Enhancing Few-Shot Image Classification with Unlabelled Examples [18.03136114355549]
  画像分類性能を向上させるために,非ラベルインスタンスを用いたトランスダクティブなメタラーニング手法を開発した。 提案手法は,正規化ニューラルアダプティブ特徴抽出器を組み合わせることで,非ラベルデータを用いたテスト時間分類精度の向上を実現する。
  論文  参考訳（メタデータ） (2020-06-17T05:42:47Z)
• SCAN: Learning to Classify Images without Labels [73.69513783788622]
  機能学習とクラスタリングを分離する2段階のアプローチを提唱する。 表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。 我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
  論文  参考訳（メタデータ） (2020-05-25T18:12:33Z)
• Variational Clustering: Leveraging Variational Autoencoders for Image Clustering [8.465172258675763]
  変分オートエンコーダ(VAE)は、潜在空間におけるデータ分布の学習に自然に役立ちます。 画像のクラスタリングに先立ってガウス混合を用いるVAEに基づく手法を提案する。 提案手法は,画像の潜伏分布と後部を捉える前処理を同時に学習し,データポイント間の識別に役立てる。
  論文  参考訳（メタデータ） (2020-05-10T09:34:48Z)
• Denoised Smoothing: A Provable Defense for Pretrained Classifiers [101.67773468882903]
  本稿では,事前訓練された画像分類器を$ell_p$の敵攻撃に対して確実に防御する手法を提案する。 この方法では、公開ビジョンAPIプロバイダやユーザは、トレーニング済みの非ロバスト分類サービスを、確実に堅牢なものにシームレスに変換することができる。
  論文  参考訳（メタデータ） (2020-03-04T06:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。