論文の概要: Divide and Contrast: Self-supervised Learning from Uncurated Data

• arxiv url: http://arxiv.org/abs/2105.08054v1
• Date: Mon, 17 May 2021 17:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 16:20:05.390449
• Title: Divide and Contrast: Self-supervised Learning from Uncurated Data
• Title（参考訳）: 分割とコントラスト:未集計データからの自己教師付き学習
• Authors: Yonglong Tian, Olivier J. Henaff, Aaron van den Oord
• Abstract要約: DnC(Devide and Contrast)は、コントラスト学習とクラスタリングベースのハードネガティブマイニングを交互に行う。 低キュレートデータセットで事前トレーニングを行うと、DnCは下流タスクにおける自己教師型学習のパフォーマンスを大幅に改善する。
• 参考スコア（独自算出の注目度）: 10.783599686099716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning holds promise in leveraging large amounts of unlabeled data, however much of its progress has thus far been limited to highly curated pre-training data such as ImageNet. We explore the effects of contrastive learning from larger, less-curated image datasets such as YFCC, and find there is indeed a large difference in the resulting representation quality. We hypothesize that this curation gap is due to a shift in the distribution of image classes -- which is more diverse and heavy-tailed -- resulting in less relevant negative samples to learn from. We test this hypothesis with a new approach, Divide and Contrast (DnC), which alternates between contrastive learning and clustering-based hard negative mining. When pretrained on less curated datasets, DnC greatly improves the performance of self-supervised learning on downstream tasks, while remaining competitive with the current state-of-the-art on curated datasets.
• Abstract（参考訳）: 自己教師付き学習は、大量のラベルのないデータを活用することを約束するが、その進歩の大部分は、ImageNetのような高度にキュレートされた事前学習データに限られている。 我々は,yfccのような大規模で低キュレートな画像データセットからのコントラスト学習の効果を調査し,結果の表現品質に大きな差があることを見出した。 我々は、このキュレーションギャップは、より多様性があり重みのあるイメージクラスの分布の変化によるものであり、そこから学ぶべき関連性の低い負のサンプルに反する、と仮定する。 この仮説をdnc(division and contrast)という新しいアプローチで検証し,対照学習とクラスタリングに基づくハードネガティブマイニングを交互に行う。 低キュレートデータセットで事前トレーニングを行うと、DnCは下流タスクでの自己教師型学習のパフォーマンスを大幅に向上すると同時に、現在のキュレートデータセットの最先端と競争力を維持する。

関連論文リスト

• InfoNCE Loss Provably Learns Cluster-Preserving Representations [54.28112623495274]
  InfoNCEが有限個の負のサンプルで学習した表現は、データのクラスタに対して一致していることを示す。 我々の主な成果は、InfoNCEが有限個の負のサンプルで学んだ表現もまた、データのクラスタと一致していることを示すことである。
  論文  参考訳（メタデータ） (2023-02-15T19:45:35Z)
• Joint Debiased Representation and Image Clustering Learning with Self-Supervision [3.1806743741013657]
  我々は,新しい共同クラスタリングとコントラスト学習フレームワークを開発した。 不均衡なデータセットの下位クラスタ化を避けるために、デバイアスド・コントラストの損失に適応する。
  論文  参考訳（メタデータ） (2022-09-14T21:23:41Z)
• Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment [73.61888777504377]
  フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。 ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。 本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-04-19T09:10:06Z)
• Positional Contrastive Learning for Volumetric Medical Image Segmentation [13.086140606803408]
  コントラストデータペアを生成するための新しい位置コントラスト学習フレームワークを提案する。 提案手法は,半教師付き設定と移動学習の両方において既存の手法と比較して,セグメンテーション性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-06-16T22:15:28Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification [31.647639786095993]
  画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。 3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
  論文  参考訳（メタデータ） (2021-03-26T05:22:36Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Hard Negative Mixing for Contrastive Learning [29.91220669060252]
  我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。 計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-02T14:34:58Z)
• Delving into Inter-Image Invariance for Unsupervised Visual Representations [108.33534231219464]
  画像間不変学習の役割をよりよく理解するための研究を提案する。 オンラインラベルはオフラインラベルよりも早く収束する。 半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
  論文  参考訳（メタデータ） (2020-08-26T17:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。