論文の概要: Crafting Better Contrastive Views for Siamese Representation Learning
- arxiv url: http://arxiv.org/abs/2202.03278v1
- Date: Mon, 7 Feb 2022 15:09:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 17:44:10.716329
- Title: Crafting Better Contrastive Views for Siamese Representation Learning
- Title（参考訳）: シームズ表現学習のためのコントラスト的視点の創造
- Authors: Xiangyu Peng, Kai Wang, Zheng Zhu, Yang You
- Abstract要約: 提案するContrastiveCropは,シームズ表現学習のための作物を効果的に生成する。
完全に教師なしの方法で、トレーニングプロセス内に意味を意識したオブジェクトローカライゼーション戦略を提案する。
プラグインとフレームワークに依存しないモジュールとして、ContrastiveCropはSimCLR、MoCo、BYOL、SimSiamを0.4%の精度で改善している。
- 参考スコア（独自算出の注目度）: 20.552194081238248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent self-supervised contrastive learning methods greatly benefit from the
Siamese structure that aims at minimizing distances between positive pairs. For
high performance Siamese representation learning, one of the keys is to design
good contrastive pairs. Most previous works simply apply random sampling to
make different crops of the same image, which overlooks the semantic
information that may degrade the quality of views. In this work, we propose
ContrastiveCrop, which could effectively generate better crops for Siamese
representation learning. Firstly, a semantic-aware object localization strategy
is proposed within the training process in a fully unsupervised manner. This
guides us to generate contrastive views which could avoid most false positives
(i.e., object vs. background). Moreover, we empirically find that views with
similar appearances are trivial for the Siamese model training. Thus, a
center-suppressed sampling is further designed to enlarge the variance of
crops. Remarkably, our method takes a careful consideration of positive pairs
for contrastive learning with negligible extra training overhead. As a
plug-and-play and framework-agnostic module, ContrastiveCrop consistently
improves SimCLR, MoCo, BYOL, SimSiam by 0.4% ~ 2.0% classification accuracy on
CIFAR-10, CIFAR-100, Tiny ImageNet and STL-10. Superior results are also
achieved on downstream detection and segmentation tasks when pre-trained on
ImageNet-1K.
- Abstract（参考訳）: 最近の自己指導型コントラスト学習手法は, 正の対間の距離を最小化することを目的とした, シームズ構造から大きな恩恵を受けている。
ハイパフォーマンスなシャム表現学習の鍵の一つは、良いコントラストペアを設計することである。
以前の作品の多くは、同じ画像の異なる作物を作るためにランダムサンプリングを適用しており、ビューの質を損なう可能性のある意味情報を見逃している。
本研究では,シームズ表現学習のためのより良い作物を効果的に生成できるContrastiveCropを提案する。
まず, 学習過程において, 完全に教師なしの方法で意味認識型オブジェクトローカライズ戦略を提案する。
これにより、ほとんどの偽陽性(オブジェクト対バックグラウンド)を避けることができる対照的なビューを生成することができます。
さらに、類似した外観の視点は、シームズモデルのトレーニングでは自明である。
これにより、作物のばらつきを増大させるために、中心抑制サンプリングがさらに設計される。
驚くべきことに,本手法では,過剰なトレーニングオーバヘッドを持つコントラスト学習のための正のペアを慎重に検討する。
ContrastiveCropはプラグインとフレームワークに依存しないモジュールとして、CIFAR-10、CIFAR-100、Tiny ImageNet、STL-10におけるSimCLR、MoCo、BYOL、SimSiamの分類精度を0.4%以上改善している。
ImageNet-1Kで事前トレーニングされた場合、下流検出やセグメンテーションタスクでも上位結果が達成される。
関連論文リスト
- Enhancing Contrastive Learning with Efficient Combinatorial Positive
Pairing [2.7961972519572442]
コントラスト的手法や非コントラスト的手法の学習速度と性能を向上させるための一般的なマルチビュー戦略を提案する。
ImageNet-100の場合、ECPPはSimCLRが教師あり学習より優れていた。
論文 参考訳（メタデータ） (2024-01-11T08:18:30Z) - Hallucination Improves the Performance of Unsupervised Visual
Representation Learning [9.504503675097137]
本研究では,さらにコントラストを増すために,効率よく追加の正のサンプルを生成できるHalucinatorを提案する。
Hallucinatorは識別可能で、機能領域で新しいデータを生成する。
顕著なことに,提案した幻覚器が様々な対照的な学習モデルによく当てはまることを実証的に証明する。
論文 参考訳（メタデータ） (2023-07-22T21:15:56Z) - Asymmetric Patch Sampling for Contrastive Learning [17.922853312470398]
正対間の非対称な出現は、対照的な学習における表現劣化のリスクを効果的に減少させる。
比較学習のための新しい非対称なパッチサンプリング戦略を提案し、より良い表現のために外見非対称性を高める。
論文 参考訳（メタデータ） (2023-06-05T13:10:48Z) - mc-BEiT: Multi-choice Discretization for Image BERT Pre-training [52.04866462439979]
Image BERT pre-training with masked image modeling (MIM)は、自己教師付き表現学習に対処する一般的な実践である。
改良されたBERTスタイルの画像事前学習手法であるmc-BEiTを導入する。
論文 参考訳（メタデータ） (2022-03-29T09:08:18Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳（メタデータ） (2021-10-10T12:03:52Z) - Improving Contrastive Learning by Visualizing Feature Transformation [37.548120912055595]
本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。
まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。
その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
論文 参考訳（メタデータ） (2021-08-06T07:26:08Z) - With a Little Help from My Friends: Nearest-Neighbor Contrastive
Learning of Visual Representations [87.72779294717267]
対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。
提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
論文 参考訳（メタデータ） (2021-04-29T17:56:08Z) - Seed the Views: Hierarchical Semantic Alignment for Contrastive
Representation Learning [116.91819311885166]
一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。
提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
論文 参考訳（メタデータ） (2020-12-04T17:26:24Z) - Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。
ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
論文 参考訳（メタデータ） (2020-11-18T08:42:32Z) - Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation
Learning [108.999497144296]
近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。
この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。
その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
論文 参考訳（メタデータ） (2020-03-11T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。