論文の概要: Fine-Grained Representation Learning via Multi-Level Contrastive Learning without Class Priors
- arxiv url: http://arxiv.org/abs/2409.04867v3
- Date: Mon, 23 Sep 2024 07:20:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:44:22.225862
- Title: Fine-Grained Representation Learning via Multi-Level Contrastive Learning without Class Priors
- Title(参考訳): クラス優先のないマルチレベルコントラスト学習による微粒化表現学習
- Authors: Houwang Jiang, Zhuxian Liu, Guodong Liu, Xiaolong Liu, Shihua Zhan,
- Abstract要約: Contrastive Disentangling(CD)は、クラス事前に依存することなく表現を学習するように設計されたフレームワークである。
CDはインスタンスレベルと特徴レベルのコントラスト損失を正規化エントロピー損失と統合し、意味的にリッチできめ細かな表現をキャプチャする。
- 参考スコア(独自算出の注目度): 3.050634053489509
- License:
- Abstract: Recent advances in unsupervised representation learning often rely on knowing the number of classes to improve feature extraction and clustering. However, this assumption raises an important question: is the number of classes always necessary, and do class labels fully capture the fine-grained features within the data? In this paper, we propose Contrastive Disentangling (CD), a framework designed to learn representations without relying on class priors. CD leverages a multi-level contrastive learning strategy, integrating instance-level and feature-level contrastive losses with a normalized entropy loss to capture semantically rich and fine-grained representations. Specifically, (1) the instance-level contrastive loss separates feature representations across samples; (2) the feature-level contrastive loss promotes independence among feature heads; and (3) the normalized entropy loss ensures feature diversity and prevents feature collapse. Extensive experiments on CIFAR-10, CIFAR-100, STL-10, and ImageNet-10 demonstrate that CD outperforms existing methods in scenarios where class information is unavailable or ambiguous. The code is available at https://github.com/Hoper-J/Contrastive-Disentangling.
- Abstract(参考訳): 教師なし表現学習の最近の進歩は、しばしば特徴抽出とクラスタリングを改善するためにクラスの数を知ることに依存している。
しかし、この仮定は重要な疑問を提起する: クラスの数は常に必要であり、クラスラベルはデータ内のきめ細かい機能を完全にキャプチャしているか?
本稿では,クラス事前に依存することなく表現を学習するフレームワークであるContrastive Disentangling (CD)を提案する。
CDは多段階のコントラスト学習戦略を活用し、インスタンスレベルと特徴レベルのコントラスト学習損失を正規化エントロピー損失と統合し、意味的にリッチできめ細かな表現をキャプチャする。
具体的には,(1)インスタンスレベルのコントラスト損失は,サンプル間で特徴表現を分離し,(2)特徴レベルのコントラスト損失は特徴頭部間の独立性を促進し,(3)正規化エントロピー損失は特徴の多様性を保証し,特徴の崩壊を防ぐ。
CIFAR-10、CIFAR-100、STL-10、ImageNet-10の大規模な実験により、CDはクラス情報が利用できない、あるいはあいまいなシナリオにおいて既存の手法よりも優れていることが示された。
コードはhttps://github.com/Hoper-J/Contrastive-Disentangling.comで公開されている。
関連論文リスト
- Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。
提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文 参考訳(メタデータ) (2024-05-17T19:49:02Z) - Rethinking Prototypical Contrastive Learning through Alignment,
Uniformity and Correlation [24.794022951873156]
我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。
具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
論文 参考訳(メタデータ) (2022-10-18T22:33:12Z) - Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。
本稿では,教師付きコントラスト学習による不公平性を初めて分析する。
提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
論文 参考訳(メタデータ) (2022-03-30T11:16:18Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳(メタデータ) (2021-10-10T12:03:52Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳(メタデータ) (2021-09-24T07:20:13Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳(メタデータ) (2021-06-09T12:02:29Z) - Hyperspherical embedding for novel class classification [1.5952956981784217]
本稿では,正規化ソフトマックス損失下での潜在空間の表現に制約に基づくアプローチを提案する。
本研究では,メトリクス学習と正規化ソフトマックス損失の両方を用いて,異なるデータセット上の未知のクラスを分類するための提案手法を実験的に検証した。
この結果から,提案した戦略は,ペアワイズ学習を必要とせず,メトリック学習戦略よりも優れた分類結果を提供するため,より大規模なクラスで効率的に学習可能であることが示唆された。
論文 参考訳(メタデータ) (2021-02-05T15:42:13Z) - CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action
Recognition [52.66360172784038]
各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。
提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
論文 参考訳(メタデータ) (2021-01-18T12:46:24Z) - Spatial Contrastive Learning for Few-Shot Classification [9.66840768820136]
局所的識別性およびクラス非依存性の特徴を学習するための新しい注意に基づく空間コントラスト目標を提案する。
実験により,提案手法は最先端手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-12-26T23:39:41Z) - Evolving Losses for Unsupervised Video Representation Learning [91.2683362199263]
大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。
提案した教師なし表現学習では,単一のRGBネットワークが実現し,従来の手法よりも優れていた。
論文 参考訳(メタデータ) (2020-02-26T16:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。