論文の概要: Grid Jigsaw Representation with CLIP: A New Perspective on Image Clustering

• arxiv url: http://arxiv.org/abs/2310.17869v2
• Date: Thu, 13 Feb 2025 10:02:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:45:36.212152
• Title: Grid Jigsaw Representation with CLIP: A New Perspective on Image Clustering
• Title（参考訳）: CLIPによるGrid Jigsaw表現 - イメージクラスタリングの新しい視点
• Authors: Zijie Song, Zhenzhen Hu, Richang Hong,
• Abstract要約: 画像クラスタリングの新たな視点として,事前学習型Grid Jigsaw Representation (pGJR)を提案する。 人間のジグソーパズル処理に触発されて、従来のジグソー学習を改良し、画像構造をより逐次的かつ漸進的に理解する。 実験により,事前学習したモデルを特徴抽出器として使用することにより,クラスタリングの収束を加速できることが実証された。
• 参考スコア（独自算出の注目度）: 33.05984601411495
• License:
• Abstract: Unsupervised representation learning for image clustering is essential in computer vision. Although the advancement of visual models has improved image clustering with efficient visual representations, challenges still remain. Firstly, existing features often lack the ability to represent the internal structure of images, hindering the accurate clustering of visually similar images. Secondly, finer-grained semantic labels are often missing, limiting the ability to capture nuanced differences and similarities between images. In this paper, we propose a new perspective on image clustering, the pretrain-based Grid Jigsaw Representation (pGJR). Inspired by human jigsaw puzzle processing, we modify the traditional jigsaw learning to gain a more sequential and incremental understanding of image structure. We also leverage the pretrained CLIP to extract the prior features which can benefit from the enhanced cross-modal representation for richer and more nuanced semantic information and label level differentiation. Our experiments demonstrate that using the pretrained model as a feature extractor can accelerate the convergence of clustering. We append the GJR module to pGJR and observe significant improvements on common-use benchmark datasets. The experimental results highlight the effectiveness of our approach in the clustering task, as evidenced by improvements in the ACC, NMI, and ARI metrics, as well as the super-fast convergence speed.
• Abstract（参考訳）: 画像クラスタリングのための教師なし表現学習はコンピュータビジョンにおいて不可欠である。 視覚モデルの進歩により、効率的な視覚表現による画像クラスタリングが改善されたが、依然として課題が残っている。 まず、既存の機能は画像の内部構造を表現する能力に欠けており、視覚的に類似した画像の正確なクラスタリングを妨げる。 第二に、細粒度のセマンティックラベルが欠落することが多く、画像間の微妙な違いや類似性を捉える能力が制限されている。 本稿では,事前学習に基づくグリッドJigsaw表現(pGJR)について,画像クラスタリングの新しい視点を提案する。 人間のジグソーパズル処理に触発されて、従来のジグソー学習を改良し、画像構造をより逐次的かつ漸進的に理解する。 また、事前訓練されたCLIPを利用して、より豊かでニュアンスの高いセマンティック情報とラベルレベルの差別化のために、拡張されたクロスモーダル表現の恩恵を受けることができる前の特徴を抽出する。 実験により,事前学習したモデルを特徴抽出器として使用することにより,クラスタリングの収束を加速できることが実証された。 我々は、GJRモジュールをpGJRに追加し、一般的なベンチマークデータセットの大幅な改善を観察する。 実験の結果,ACC,NMI,ARIの計測値の改善や超高速収束速度が示すように,クラスタリングタスクにおけるアプローチの有効性が示された。

関連論文リスト

• Dual Advancement of Representation Learning and Clustering for Sparse and Noisy Images [14.836487514037994]
  SNI(Sparse and Noisy Image)は、効果的な表現学習とクラスタリングに重要な課題を提起する。 本稿では、マスク画像モデリングから得られた表現を強化するために、DARLC(Dual Advancement of Representation Learning and Clustering)を提案する。 我々のフレームワークは、局所的な認識性、特異性、関係意味論の理解を高めることによって、表現の学習を改善する包括的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-09-03T10:52:27Z)
• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• ClusterFormer: Clustering As A Universal Visual Learner [80.79669078819562]
  CLUSTERFORMERは、トランスフォーマーを用いたCLUSTERingパラダイムに基づくユニバーサルビジョンモデルである。 不均一な視覚タスクに様々なレベルのクラスタリングの粒度で対処することができる。 その有効性のために、コンピュータビジョンにおける普遍モデルにおけるパラダイムシフトを触媒できることを期待します。
  論文  参考訳（メタデータ） (2023-09-22T22:12:30Z)
• Image Clustering via the Principle of Rate Reduction in the Age of Pretrained Models [37.574691902971296]
  本稿では,大規模事前学習モデルの強力な特徴表現を利用した画像クラスタリングパイプラインを提案する。 パイプラインは、CIFAR-10、CIFAR-100、ImageNet-1kなどの標準データセットでうまく動作することを示す。
  論文  参考訳（メタデータ） (2023-06-08T15:20:27Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• Vision Transformer for Contrastive Clustering [48.476602271481674]
  Vision Transformer(ViT)は、畳み込みニューラルネットワーク(CNN)に対してその優位性を示している。 本稿では、VTCC(Vision Transformer for Contrastive Clustering)と呼ばれるエンドツーエンドのディープ・クラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-26T17:00:35Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• G-SimCLR : Self-Supervised Contrastive Learning with Guided Projection via Pseudo Labelling [0.8164433158925593]
  コンピュータビジョンにおいて、ディープニューラルネットワークは大量のラベル付きデータを持つ教師付き設定において、より良い性能を発揮することが明らかである。 本研究では, 温度スケールクロスエントロピー(NT-Xent)損失関数の正規化により, 同じカテゴリの画像が同じバッチにない方が有益であることを示す。 我々は、ラベルのないデータセットで訓練された復号化オートエンコーダの潜在空間表現を使用し、それらをk平均でクラスタリングして擬似ラベルを得る。
  論文  参考訳（メタデータ） (2020-09-25T02:25:37Z)
• Deep Transformation-Invariant Clustering [24.23117820167443]
  抽象的な特徴に頼らず、画像変換の予測を学ぶアプローチを提案する。 この学習プロセスは、K平均とガウス混合モデルの勾配に基づく訓練に自然に適合する。 我々の新しいアプローチは、標準的な画像クラスタリングベンチマークにおいて、競争力があり、非常に有望な結果をもたらすことを実証する。
  論文  参考訳（メタデータ） (2020-06-19T13:43:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。