論文の概要: Contrastive Disentangling: Fine-grained representation learning through multi-level contrastive learning without class priors

• arxiv url: http://arxiv.org/abs/2409.04867v1
• Date: Sat, 7 Sep 2024 16:39:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 20:20:37.045488
• Title: Contrastive Disentangling: Fine-grained representation learning through multi-level contrastive learning without class priors
• Title（参考訳）: コントラスト的異方性:クラス先行のないマルチレベルコントラスト学習によるきめ細かい表現学習
• Authors: Houwang Jiang, Zhuxian Liu, Guodong Liu, Xiaolong Liu, Shihua Zhan,
• Abstract要約: Contrastive Disentangling (CD) は、クラス事前に依存することなく表現を学習するフレームワークである。 我々のフレームワークは、インスタンスレベルと特徴レベルの損失と正規化エントロピー損失を組み合わせたマルチレベルコントラスト学習戦略を採用している。
• 参考スコア（独自算出の注目度）: 3.050634053489509
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in unsupervised representation learning often leverage class information to enhance feature extraction and clustering performance. However, this reliance on class priors limits the applicability of such methods in real-world scenarios where class information is unavailable or ambiguous. In this paper, we propose Contrastive Disentangling (CD), a simple and effective framework that learns representations without any reliance on class priors. Our framework employs a multi-level contrastive learning strategy that combines instance-level and feature-level losses with a normalized entropy loss to learn semantically rich and fine-grained representations. Specifically, (1) the instance-level contrastive loss encourages the separation of feature representations for different samples, (2) the feature-level contrastive loss promotes independence among the feature head predictions, and (3) the normalized entropy loss encourages the feature heads to capture meaningful and prevalent attributes from the data. These components work together to enable CD to significantly outperform existing methods, as demonstrated by extensive experiments on benchmark datasets including CIFAR-10, CIFAR-100, STL-10, and ImageNet-10, particularly in scenarios where class priors are absent. The code is available at https://github.com/Hoper-J/Contrastive-Disentangling.
• Abstract（参考訳）: 教師なし表現学習の最近の進歩は、しばしばクラス情報を活用して特徴抽出とクラスタリング性能を向上させる。 しかし、クラス情報を利用できない、あるいはあいまいな実世界のシナリオでは、クラスプリエントに依存しているため、そのようなメソッドの適用性は制限される。 本稿では,クラス先行に依存せずに表現を学習する,シンプルかつ効果的なフレームワークであるContrastive Disentangling (CD)を提案する。 我々のフレームワークは、インスタンスレベルと特徴レベルの損失と正規化エントロピー損失を組み合わせたマルチレベルコントラスト学習戦略を用いて、意味的にリッチできめ細かな表現を学習する。 具体的には、(1)インスタンスレベルのコントラスト損失は、異なるサンプルに対する特徴表現の分離を促進し、(2)特徴レベルのコントラスト損失は、特徴ヘッド間の独立性を促進し、(3)正規化エントロピー損失は、特徴ヘッドがデータから有意義で有意義な属性をキャプチャすることを奨励する。 これらのコンポーネントは、CIFAR-10、CIFAR-100、STL-10、ImageNet-10などのベンチマークデータセット、特にクラス事前が欠落しているシナリオにおいて、CDが既存のメソッドを大幅に上回るように連携する。 コードはhttps://github.com/Hoper-J/Contrastive-Disentangling.comで公開されている。

関連論文リスト

• Harnessing Superclasses for Learning from Hierarchical Databases [1.835004446596942]
  多くの大規模分類問題において、クラスは既知の階層に整理され、通常木として表される。 この種の教師付き階層分類の損失について紹介する。 提案手法では,クロスエントロピーの損失に比較して,計算コストの大幅な増大は伴わない。
  論文  参考訳（メタデータ） (2024-11-25T14:39:52Z)
• Class Incremental Learning with Self-Supervised Pre-Training and Prototype Learning [21.901331484173944]
  授業の段階的学習における破滅的忘れの原因を分析した。 固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。 本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
  論文  参考訳（メタデータ） (2023-08-04T14:20:42Z)
• Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
  部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。 本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:52:12Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• SCAN: Learning to Classify Images without Labels [73.69513783788622]
  機能学習とクラスタリングを分離する2段階のアプローチを提唱する。 表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。 我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
  論文  参考訳（メタデータ） (2020-05-25T18:12:33Z)
• Unsupervised Person Re-identification via Softened Similarity Learning [122.70472387837542]
  人物再識別(re-ID)はコンピュータビジョンにおいて重要なトピックである。 本稿では,ラベル付き情報を必要としないre-IDの教師なし設定について検討する。 2つの画像ベースおよびビデオベースデータセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-04-07T17:16:41Z)
• Evolving Losses for Unsupervised Video Representation Learning [91.2683362199263]
  大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。 提案した教師なし表現学習では,単一のRGBネットワークが実現し,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-02-26T16:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。