論文の概要: Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods
- arxiv url: http://arxiv.org/abs/2306.16122v2
- Date: Thu, 25 Apr 2024 15:27:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-27 00:07:23.897670
- Title: Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods
- Title(参考訳): インスタンス識別手法の視覚表現学習を支援する意味陽性ペア
- Authors: Mohammad Alkhalefi, Georgios Leontidis, Mingjun Zhong,
- Abstract要約: インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。
類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。
我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
- 参考スコア(独自算出の注目度): 4.680881326162484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning algorithms (SSL) based on instance discrimination have shown promising results, performing competitively or even outperforming supervised learning counterparts in some downstream tasks. Such approaches employ data augmentation to create two views of the same instance (i.e., positive pairs) and encourage the model to learn good representations by attracting these views closer in the embedding space without collapsing to the trivial solution. However, data augmentation is limited in representing positive pairs, and the repulsion process between the instances during contrastive learning may discard important features for instances that have similar categories. To address this issue, we propose an approach to identify those images with similar semantic content and treat them as positive instances, thereby reducing the chance of discarding important features during representation learning and increasing the richness of the latent representation. Our approach is generic and could work with any self-supervised instance discrimination frameworks such as MoCo and SimSiam. To evaluate our method, we run experiments on three benchmark datasets: ImageNet, STL-10 and CIFAR-10 with different instance discrimination SSL approaches. The experimental results show that our approach consistently outperforms the baseline methods across all three datasets; for instance, we improve upon the vanilla MoCo-v2 by 4.1% on ImageNet under a linear evaluation protocol over 800 epochs. We also report results on semi-supervised learning, transfer learning on downstream tasks, and object detection.
- Abstract(参考訳): インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は、いくつかの下流タスクにおいて、競争力のある結果を示し、教師付き学習アルゴリズムよりも優れています。
このようなアプローチでは、データ拡張を用いて、同じインスタンスの2つのビュー(すなわち、正のペア)を作成し、自明な解に崩壊することなく、埋め込み空間にこれらのビューを引き付けることによって、モデルが良い表現を学ぶように促す。
しかし、データ拡張は正のペアを表す場合に限られており、対照的な学習におけるインスタンス間の反発プロセスは、類似のカテゴリを持つインスタンスにとって重要な特徴を捨てる可能性がある。
そこで本研究では,類似したセマンティックな内容のイメージを識別し,ポジティブな例として扱うアプローチを提案し,表現学習において重要な特徴を破棄する可能性を減らすとともに,潜在表現の豊かさを高める。
私たちのアプローチは汎用的であり、MoCoやSimSiamのような自己管理型のインスタンス識別フレームワークでも機能します。
提案手法を評価するために,ImageNet, STL-10, CIFAR-10の3つのベンチマークデータセットを用いて,異なるインスタンス識別SSLアプローチを用いて実験を行った。
実験の結果, 800エポック以上の線形評価プロトコル下では, バニラMoCo-v2を4.1%改善した。
また、半教師付き学習、下流タスクにおける伝達学習、オブジェクト検出の結果についても報告する。
関連論文リスト
- LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
我々のアプローチは、ベースラインモデルと比較して、異なるデータセット間の表現学習を一貫して改善します。
論文 参考訳(メタデータ) (2024-03-11T15:33:32Z) - C3: Cross-instance guided Contrastive Clustering [8.953252452851862]
クラスタリングは、事前に定義されたラベルを使わずに、類似したデータサンプルをクラスタに収集するタスクである。
我々は,新しいコントラストクラスタリング手法であるクロスインスタンスガイドコントラストクラスタリング(C3)を提案する。
提案手法は、ベンチマークコンピュータビジョンデータセット上で最先端のアルゴリズムより優れている。
論文 参考訳(メタデータ) (2022-11-14T06:28:07Z) - Improving Dense Contrastive Learning with Dense Negative Pairs [15.728417548134047]
本研究では,DenseCLが学習した表現の質を,学習手法や目的関数を改良して向上させる方法について検討する。
以上の結果から,COCO多ラベル分類におけるSimCLRおよびDenseCLの3.5%と4%のmAP改善が認められた。
論文 参考訳(メタデータ) (2022-10-11T00:26:59Z) - Negative Selection by Clustering for Contrastive Learning in Human
Activity Recognition [5.351176836203563]
我々は,HAR(Human Activity Recognition)におけるクラスタリングによるネガティブな選択を行う新しいコントラスト学習フレームワークを提案する。
SimCLRと比較して、教師なしクラスタリング法を用いて、対照的な損失関数の負のペアを再定義し、同じクラスタの他のサンプルを隠蔽するソフトラベルを生成し、負のサンプルとして扱うことを避ける。
評価指標として平均F1スコアを用いて,USC-HAD,MotionSense,UCI-HARの3つのベンチマークデータセット上でClusterCLHARを評価する。
論文 参考訳(メタデータ) (2022-03-23T06:54:16Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳(メタデータ) (2021-10-10T12:03:52Z) - Contrastive Attraction and Contrastive Repulsion for Representation
Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。
最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。
自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文 参考訳(メタデータ) (2021-05-08T17:25:08Z) - With a Little Help from My Friends: Nearest-Neighbor Contrastive
Learning of Visual Representations [87.72779294717267]
対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。
提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
論文 参考訳(メタデータ) (2021-04-29T17:56:08Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-18T07:47:10Z) - Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。
符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文 参考訳(メタデータ) (2020-11-26T15:43:27Z) - Contrastive Clustering [57.71729650297379]
本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。
特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-09-21T08:54:40Z) - Whitening for Self-Supervised Representation Learning [129.57407186848917]
本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。
我々の解は非対称なネットワークを必要とせず、概念的には単純である。
論文 参考訳(メタデータ) (2020-07-13T12:33:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。