論文の概要: Hard Negative Mixing for Contrastive Learning

• arxiv url: http://arxiv.org/abs/2010.01028v2
• Date: Fri, 4 Dec 2020 11:46:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 01:07:58.369271
• Title: Hard Negative Mixing for Contrastive Learning
• Title（参考訳）: コントラスト学習のためのハード負混合
• Authors: Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus
• Abstract要約: 我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。 計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
• 参考スコア（独自算出の注目度）: 29.91220669060252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has become a key component of self-supervised learning approaches for computer vision. By learning to embed two augmented versions of the same image close to each other and to push the embeddings of different images apart, one can train highly transferable visual representations. As revealed by recent studies, heavy data augmentation and large sets of negatives are both crucial in learning such representations. At the same time, data mixing strategies either at the image or the feature level improve both supervised and semi-supervised learning by synthesizing novel examples, forcing networks to learn more robust features. In this paper, we argue that an important aspect of contrastive learning, i.e., the effect of hard negatives, has so far been neglected. To get more meaningful negative samples, current top contrastive self-supervised learning approaches either substantially increase the batch sizes, or keep very large memory banks; increasing the memory size, however, leads to diminishing returns in terms of performance. We therefore start by delving deeper into a top-performing framework and show evidence that harder negatives are needed to facilitate better and faster learning. Based on these observations, and motivated by the success of data mixing, we propose hard negative mixing strategies at the feature level, that can be computed on-the-fly with a minimal computational overhead. We exhaustively ablate our approach on linear classification, object detection and instance segmentation and show that employing our hard negative mixing procedure improves the quality of visual representations learned by a state-of-the-art self-supervised learning method.
• Abstract（参考訳）: コントラスト学習は、コンピュータビジョンのための自己教師あり学習アプローチの重要な要素となっている。 同じイメージの2つの拡張バージョンを互いに近接して埋め込み、異なるイメージの埋め込みを分離することで、高度に転送可能な視覚表現を訓練することができる。 最近の研究で明らかになったように、重いデータ拡張と大きな負のセットは、どちらもそのような表現を学ぶ上で不可欠である。 同時に、画像または特徴レベルのデータ混合戦略は、新しい例を合成することによって教師付き学習と半教師付き学習の両方を改善し、ネットワークにより堅牢な特徴を学習させる。 本稿では,対照学習の重要な側面,すなわちハードネガティブの影響は,これまで無視されてきたと論じる。 より意味のある負のサンプルを得るために、現在のトップコントラストの自己教師型学習アプローチは、バッチサイズを大幅に増加させるか、非常に大きなメモリバンクを保持するかのいずれかである。 ですから私たちは、トップパフォーマンスのフレームワークを深く掘り下げて、より優れた、より高速な学習を促進するために、より厳しいネガティブが必要な証拠を示します。 これらの観察に基づいて,データ混合の成功を動機とし,最小の計算オーバーヘッドでオンザフライで計算可能な特徴量レベルでのハードネガティブ混合戦略を提案する。 我々は,線形分類,オブジェクト検出,インスタンスセグメンテーションに対するアプローチを徹底的に改善し,その手法を用いることで,最先端の自己教師型学習法で学習した視覚表現の質が向上することを示す。

関連論文リスト

• Contrastive Learning for Object Detection [0.0]
  我々は,その類似性に基づいて,ランキングクラスによる教師付きコントラスト学習の改善を図る。 人間の偏見(ランク付けの形で)が学習した表現に与える影響を観察する。
  論文  参考訳（メタデータ） (2022-08-12T02:02:23Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR [2.578242050187029]
  半教師付き学習の分野における最近のブレークスルーは、最先端の従来の教師付き学習手法と一致する結果を得た。 SimCLRは、コンピュータビジョンのための最先端の半教師付き学習フレームワークである。
  論文  参考訳（メタデータ） (2021-08-02T01:37:39Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification [31.647639786095993]
  画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。 3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
  論文  参考訳（メタデータ） (2021-03-26T05:22:36Z)
• Delving into Inter-Image Invariance for Unsupervised Visual Representations [108.33534231219464]
  画像間不変学習の役割をよりよく理解するための研究を提案する。 オンラインラベルはオフラインラベルよりも早く収束する。 半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
  論文  参考訳（メタデータ） (2020-08-26T17:44:23Z)
• On Mutual Information in Contrastive Learning for Visual Representations [19.136685699971864]
  視覚における「対照的」学習アルゴリズムは、伝達タスクにおいて非常によく機能する表現を学ぶために示されている。 このアルゴリズムの族は、画像の2つ以上の「ビュー」間の相互情報の低境界を最大化する。 負のサンプルとビューの選択は、これらのアルゴリズムの成功に不可欠である。
  論文  参考訳（メタデータ） (2020-05-27T04:21:53Z)
• Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning [108.999497144296]
  近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。 この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。 その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
  論文  参考訳（メタデータ） (2020-03-11T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。