論文の概要: Improving Dense Contrastive Learning with Dense Negative Pairs

• arxiv url: http://arxiv.org/abs/2210.05063v1
• Date: Tue, 11 Oct 2022 00:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 16:03:31.714977
• Title: Improving Dense Contrastive Learning with Dense Negative Pairs
• Title（参考訳）: 難易度負のペアによるDense Contrastive Learningの改善
• Authors: Berk Iskender, Zhenlin Xu, Simon Kornblith, Enhung Chu, Maryam Khademi
• Abstract要約: 本研究では,DenseCLが学習した表現の質を,学習手法や目的関数を改良して向上させる方法について検討する。 以上の結果から,COCO多ラベル分類におけるSimCLRおよびDenseCLの3.5%と4%のmAP改善が認められた。
• 参考スコア（独自算出の注目度）: 15.728417548134047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many contrastive representation learning methods learn a single global representation of an entire image. However, dense contrastive representation learning methods such as DenseCL [19] can learn better representations for tasks requiring stronger spatial localization of features, such as multi-label classification, detection, and segmentation. In this work, we study how to improve the quality of the representations learned by DenseCL by modifying the training scheme and objective function, and propose DenseCL++. We also conduct several ablation studies to better understand the effects of: (i) various techniques to form dense negative pairs among augmentations of different images, (ii) cross-view dense negative and positive pairs, and (iii) an auxiliary reconstruction task. Our results show 3.5% and 4% mAP improvement over SimCLR [3] and DenseCL in COCO multi-label classification. In COCO and VOC segmentation tasks, we achieve 1.8% and 0.7% mIoU improvements over SimCLR, respectively.
• Abstract（参考訳）: 多くの対比表現学習法は、画像全体の単一の大域的表現を学習する。 しかし,DenseCL[19]のような高密度なコントラスト表現学習手法は,マルチラベル分類,検出,セグメンテーションなどの特徴のより強力な空間的局所化を必要とするタスクに対して,より良い表現を学習することができる。 本研究では,DenseCLが学習した表現の質を,トレーニングスキームと目的関数を変更することで向上させる方法について検討し,DenseCL++を提案する。 我々はまた、以下の効果をよりよく理解するために、いくつかのアブレーション研究を行っている。 (i)異なる画像の増補の間に密な負の対を形成する様々な技法 (ii)濃密な負の対、正の対、及び (iii)補助復興作業。 以上の結果から,COCO多ラベル分類におけるSimCLR[3]とDenseCLの3.5%と4%のmAP改善が認められた。 COCOとVOCのセグメンテーションタスクでは、それぞれSimCLRに対する1.8%と0.7%のmIoUの改善を実現しています。

関連論文リスト

• Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling [58.50618448027103]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。 方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
  論文  参考訳（メタデータ） (2024-05-27T12:59:35Z)
• LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
  画像分類やオブジェクト検出などの下流タスクにおける教師あり学習よりも優れている。 対照的な学習における一般的な強化手法は、ランダムな収穫とそれに続くリサイズである。 本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T15:33:32Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• PARTICLE: Part Discovery and Contrastive Learning for Fine-grained Recognition [29.05343410791649]
  本研究では,細粒度分類タスクやセグメント化タスクを自己監督的に表現する手法を開発した。 部分中心の学習ステップが画像内の部分の表現を集約し、コントラストすることを示す。 これにより、データセット間の画像分類と部分分割タスクのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-09-25T02:08:48Z)
• Hallucination Improves the Performance of Unsupervised Visual Representation Learning [9.504503675097137]
  本研究では,さらにコントラストを増すために,効率よく追加の正のサンプルを生成できるHalucinatorを提案する。 Hallucinatorは識別可能で、機能領域で新しいデータを生成する。 顕著なことに,提案した幻覚器が様々な対照的な学習モデルによく当てはまることを実証的に証明する。
  論文  参考訳（メタデータ） (2023-07-22T21:15:56Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)
• Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
  各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:16:53Z)
• Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
  入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。 ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
  論文  参考訳（メタデータ） (2020-11-18T08:42:32Z)
• Contrastive Clustering [57.71729650297379]
  本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。 特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-21T08:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。