論文の概要: Asymmetric Patch Sampling for Contrastive Learning

• arxiv url: http://arxiv.org/abs/2306.02854v1
• Date: Mon, 5 Jun 2023 13:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:01:12.184422
• Title: Asymmetric Patch Sampling for Contrastive Learning
• Title（参考訳）: コントラスト学習のための非対称パッチサンプリング
• Authors: Chengchao Shen, Jianzhong Chen, Shu Wang, Hulin Kuang, Jin Liu, Jianxin Wang
• Abstract要約: 正対間の非対称な出現は、対照的な学習における表現劣化のリスクを効果的に減少させる。 比較学習のための新しい非対称なパッチサンプリング戦略を提案し、より良い表現のために外見非対称性を高める。
• 参考スコア（独自算出の注目度）: 17.922853312470398
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Asymmetric appearance between positive pair effectively reduces the risk of representation degradation in contrastive learning. However, there are still a mass of appearance similarities between positive pair constructed by the existing methods, which inhibits the further representation improvement. In this paper, we propose a novel asymmetric patch sampling strategy for contrastive learning, to further boost the appearance asymmetry for better representations. Specifically, dual patch sampling strategies are applied to the given image, to obtain asymmetric positive pairs. First, sparse patch sampling is conducted to obtain the first view, which reduces spatial redundancy of image and allows a more asymmetric view. Second, a selective patch sampling is proposed to construct another view with large appearance discrepancy relative to the first one. Due to the inappreciable appearance similarity between positive pair, the trained model is encouraged to capture the similarity on semantics, instead of low-level ones. Experimental results demonstrate that our proposed method significantly outperforms the existing self-supervised methods on both ImageNet-1K and CIFAR dataset, e.g., 2.5% finetune accuracy improvement on CIFAR100. Furthermore, our method achieves state-of-the-art performance on downstream tasks, object detection and instance segmentation on COCO.Additionally, compared to other self-supervised methods, our method is more efficient on both memory and computation during training. The source code is available at https://github.com/visresearch/aps.
• Abstract（参考訳）: 正のペア間の非対称な外観は、コントラスト学習における表現劣化のリスクを効果的に低減する。 しかし、既存の手法によって構成された正の対の間には相似点が多数存在し、さらなる表現改善を阻害する。 本稿では,コントラスト学習のための新しい非対称パッチサンプリング戦略を提案する。 具体的には、与えられた画像にデュアルパッチサンプリング戦略を適用し、非対称な正対を得る。 まず、スパースパッチサンプリングを行い、画像の空間的冗長性を低減し、より非対称なビューを可能にする第1のビューを得る。 第2に,選択的なパッチサンプリングを提案し,第1のパッチに比べて外観の相違が大きい別のビューを構築する。 正のペア間の相似性が理解できないため、訓練されたモデルは、低レベルのペアではなく、意味論の相似性を捉えることが推奨される。 実験結果から,提案手法はImageNet-1KとCIFARデータセットの両方において,既存の自己教師手法よりも優れていることがわかった。 さらに,本手法は, ダウンストリームタスク, オブジェクト検出, COCO のインスタンスセグメンテーション, その他の自己管理手法と比較して, トレーニング中のメモリと計算の両面において, より効率的である。 ソースコードはhttps://github.com/visresearch/apsで入手できる。

関連論文リスト

• Contrastive Learning with Synthetic Positives [11.932323457691945]
  近隣住民との対比学習は、最も効率的な自己教師付き学習(SSL)技術の1つであることが証明されている。 本稿では,NCLP(Contrastive Learning with Synthetic Positives)という新しいアプローチを提案する。 NCLPは、無条件拡散モデルによって生成された合成画像を利用して、モデルが多様な正から学ぶのに役立つ追加の正として利用する。
  論文  参考訳（メタデータ） (2024-08-30T01:47:43Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)
• Inter-Instance Similarity Modeling for Contrastive Learning [22.56316444504397]
  視覚変換器(ViT)におけるコントラスト学習のための新しい画像混合手法であるPatchMixを提案する。 既存のサンプルミキシング手法と比較して、我々のPatchMixは2つ以上の画像を柔軟に効率的に混ぜることができる。 提案手法は,ImageNet-1KとCIFARの両方のデータセットにおいて,従来の最先端技術よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-06-21T13:03:47Z)
• Soft Neighbors are Positive Supporters in Contrastive Visual Representation Learning [35.53729744330751]
  コントラスト学習法は、あるインスタンスと他のインスタンスのビューを比較して視覚エンコーダを訓練する。 このバイナリインスタンス識別は、自己教師付き学習における特徴表現を改善するために広範囲に研究されている。 本稿では、インスタンス識別フレームワークを再考し、異なるサンプル間の相関を測定するのに不十分なバイナリインスタンスラベルを見つける。
  論文  参考訳（メタデータ） (2023-03-30T04:22:07Z)
• Beyond Supervised vs. Unsupervised: Representative Benchmarking and Analysis of Image Representation Learning [37.81297650369799]
  イメージ表現を学習するための教師なしの手法は、標準ベンチマークで印象的な結果に達した。 実装が大幅に異なる多くのメソッドは、一般的なベンチマークでほぼ同じように見える結果をもたらす。 本稿では, 線形評価, 近隣分類, クラスタリングなど, 性能ベースのベンチマークを用いた手法の比較を行った。
  論文  参考訳（メタデータ） (2022-06-16T17:51:19Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
  ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。 符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
  論文  参考訳（メタデータ） (2020-11-26T15:43:27Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。