論文の概要: Enhancing Contrastive Learning with Efficient Combinatorial Positive Pairing

• arxiv url: http://arxiv.org/abs/2401.05730v1
• Date: Thu, 11 Jan 2024 08:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 19:37:37.751852
• Title: Enhancing Contrastive Learning with Efficient Combinatorial Positive Pairing
• Title（参考訳）: 効果的な組合せ陽性ペアリングによるコントラスト学習の促進
• Authors: Jaeill Kim, Duhun Hwang, Eunjung Lee, Jangwon Suh, Jimyeong Kim, Wonjong Rhee
• Abstract要約: コントラスト的手法や非コントラスト的手法の学習速度と性能を向上させるための一般的なマルチビュー戦略を提案する。 ImageNet-100の場合、ECPPはSimCLRが教師あり学習より優れていた。
• 参考スコア（独自算出の注目度）: 2.7961972519572442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the past few years, contrastive learning has played a central role for the success of visual unsupervised representation learning. Around the same time, high-performance non-contrastive learning methods have been developed as well. While most of the works utilize only two views, we carefully review the existing multi-view methods and propose a general multi-view strategy that can improve learning speed and performance of any contrastive or non-contrastive method. We first analyze CMC's full-graph paradigm and empirically show that the learning speed of $K$-views can be increased by $_{K}\mathrm{C}_{2}$ times for small learning rate and early training. Then, we upgrade CMC's full-graph by mixing views created by a crop-only augmentation, adopting small-size views as in SwAV multi-crop, and modifying the negative sampling. The resulting multi-view strategy is called ECPP (Efficient Combinatorial Positive Pairing). We investigate the effectiveness of ECPP by applying it to SimCLR and assessing the linear evaluation performance for CIFAR-10 and ImageNet-100. For each benchmark, we achieve a state-of-the-art performance. In case of ImageNet-100, ECPP boosted SimCLR outperforms supervised learning.
• Abstract（参考訳）: 近年,視覚的教師なし表現学習の成功には,コントラスト学習が中心的な役割を果たしている。 同時に,高性能な非競合学習手法も開発されている。 作品のほとんどが2つのビューのみを使用しているが、既存のマルチビュー手法を慎重に検討し、コントラスト的あるいは非一貫性的手法の学習速度と性能を向上させるための一般的なマルチビュー戦略を提案する。 まず,CMCのフルグラフパラダイムを解析し,学習速度が小さめの学習率と早期学習において,$K$-viewsの学習速度を$_{K}\mathrm{C}_{2}$ timesに向上できることを実証的に示す。 次に,作物のみの増補によるビューを混合し,swavマルチクロップのように小型ビューを採用し,負のサンプリングを変更することで,cmcのフルグラフをアップグレードする。 結果として得られるマルチビュー戦略はECPP(Efficient Combinatorial Positive Pairing)と呼ばれる。 我々は,それをSimCLRに適用し,CIFAR-10とImageNet-100の線形評価性能を評価することによりECPPの有効性を検討した。 各ベンチマークでは、最先端のパフォーマンスを達成します。 ImageNet-100の場合、ECPPはSimCLRが教師あり学習より優れていた。

関連論文リスト

• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• ScoreCL: Augmentation-Adaptive Contrastive Learning via Score-Matching Function [14.857965612960475]
  自己教師付きコントラスト学習(CL)は表現学習において最先端のパフォーマンスを達成した。 各種CL法を一貫して改良することにより,ScoreCLと呼ばれる手法の汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-07T05:59:20Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Crafting Better Contrastive Views for Siamese Representation Learning [20.552194081238248]
  提案するContrastiveCropは,シームズ表現学習のための作物を効果的に生成する。 完全に教師なしの方法で、トレーニングプロセス内に意味を意識したオブジェクトローカライゼーション戦略を提案する。 プラグインとフレームワークに依存しないモジュールとして、ContrastiveCropはSimCLR、MoCo、BYOL、SimSiamを0.4%の精度で改善している。
  論文  参考訳（メタデータ） (2022-02-07T15:09:00Z)
• QK Iteration: A Self-Supervised Representation Learning Algorithm for Image Similarity [0.0]
  我々は、Facebook AI Researchが主催する2021年の画像類似度チャレンジにおいて、コピー検出の文脈において、新しいコントラッシブな自己教師型表現学習アルゴリズムを提案する。 我々のアルゴリズムは第1相のリーダーボード上で0.3401のマイクロAPスコアを達成し、ベースラインである$mu$APの0.1556よりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-11-15T18:01:05Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
  ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。 符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
  論文  参考訳（メタデータ） (2020-11-26T15:43:27Z)
• Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
  入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。 ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
  論文  参考訳（メタデータ） (2020-11-18T08:42:32Z)
• A Simple Framework for Contrastive Learning of Visual Representations [116.37752766922407]
  本稿では,視覚表現のコントラスト学習のためのシンプルなフレームワークであるSimCLRについて述べる。 我々は,データ拡張の構成が効果的な予測タスクを定義する上で重要な役割を担っていることを示す。 我々は、ImageNet上での自己教師付き半教師付き学習において、従来の手法よりもかなり優れています。
  論文  参考訳（メタデータ） (2020-02-13T18:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。