論文の概要: A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2106.14749v1
• Date: Mon, 28 Jun 2021 14:24:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 15:52:55.073107
• Title: A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning
• Title（参考訳）: コントラスト表現学習のための理論駆動自己ラベル改良法
• Authors: Pan Zhou, Caiming Xiong, Xiao-Tong Yuan, Steven Hoi
• Abstract要約: 教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
• 参考スコア（独自算出の注目度）: 111.05365744744437
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: For an image query, unsupervised contrastive learning labels crops of the same image as positives, and other image crops as negatives. Although intuitive, such a native label assignment strategy cannot reveal the underlying semantic similarity between a query and its positives and negatives, and impairs performance, since some negatives are semantically similar to the query or even share the same semantic class as the query. In this work, we first prove that for contrastive learning, inaccurate label assignment heavily impairs its generalization for semantic instance discrimination, while accurate labels benefit its generalization. Inspired by this theory, we propose a novel self-labeling refinement approach for contrastive learning. It improves the label quality via two complementary modules: (i) self-labeling refinery (SLR) to generate accurate labels and (ii) momentum mixup (MM) to enhance similarity between query and its positive. SLR uses a positive of a query to estimate semantic similarity between a query and its positive and negatives, and combines estimated similarity with vanilla label assignment in contrastive learning to iteratively generate more accurate and informative soft labels. We theoretically show that our SLR can exactly recover the true semantic labels of label-corrupted data, and supervises networks to achieve zero prediction error on classification tasks. MM randomly combines queries and positives to increase semantic similarity between the generated virtual queries and their positives so as to improves label accuracy. Experimental results on CIFAR10, ImageNet, VOC and COCO show the effectiveness of our method. PyTorch code and model will be released online.
• Abstract（参考訳）: 画像クエリでは、教師なしのコントラスト学習ラベルは、正と同じイメージの作物と、負のイメージの作物とを区別する。 直感的ではあるが、このようなネイティブラベル割り当て戦略は、クエリとその正と負のセマンティックな類似性を明らかにすることができず、いくつかの負はクエリとセマンティックに類似しているか、クエリと同じセマンティッククラスを共有しているため、パフォーマンスを損なう。 本研究は, コントラスト学習において, 不正確なラベル割り当ては, 意味的インスタンス識別の一般化を著しく損なうが, 正確なラベルはその一般化の恩恵を受ける。 この理論に触発されて,コントラスト学習のための新しい自己ラベルリファインメントアプローチを提案する。 i) 正確なラベルを生成するための自己ラベル精製 (SLR) と (ii) モーメント混合 (MM) の2つの相補的なモジュールによるラベル品質の向上により、クエリと正の類似性を高める。 SLRは、クエリとその正と負のセマンティックな類似性を推定するためにクエリの正を用いており、比較学習においてバニララベルの割り当てと推定された類似性を組み合わせ、より正確で情報的なソフトなラベルを生成する。 理論的には,slrはラベル分割されたデータの真の意味ラベルを正確に復元でき,ネットワークを監視して分類タスクの予測誤差をゼロにできることを示す。 MMはクエリとポジティクスをランダムに組み合わせて生成した仮想クエリとそれらのポジティクスのセマンティックな類似性を高め、ラベルの精度を向上させる。 CIFAR10, ImageNet, VOC, COCOの実験結果から, 本手法の有効性が示された。 PyTorchのコードとモデルはオンラインでリリースされる。

関連論文リスト

• GaussianMLR: Learning Implicit Class Significance via Calibrated Multi-Label Ranking [0.0]
  本稿では,ガウスMLRという新しい多ラベルランキング手法を提案する。 これは、正のラベルのランクを決定する暗黙のクラス重要性の値を学ぶことを目的としている。 提案手法は, 組み込まれた正のランク順の表現を正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T14:09:08Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Category-Adaptive Label Discovery and Noise Rejection for Multi-label Image Recognition with Partial Positive Labels [78.88007892742438]
  部分正ラベル(MLR-PPL)を用いたマルチラベルモデルの訓練が注目されている。 これまでの研究では、未知のラベルを負とみなし、従来のMLRアルゴリズムを採用した。 我々は,MLR-PPLタスクを容易にするために,異なる画像間の意味的相関について検討する。
  論文  参考訳（メタデータ） (2022-11-15T02:11:20Z)
• Similarity Contrastive Estimation for Self-Supervised Soft Contrastive Learning [0.41998444721319206]
  優れたデータ表現は、インスタンス間の関係、つまり意味的類似性を含んでいる、と我々は主張する。 類似性コントラスト推定(SCE)と呼ばれるインスタンス間の意味的類似性を用いたコントラスト学習の新しい定式化を提案する。 我々の訓練対象はソフトコントラスト学習と見なすことができる。
  論文  参考訳（メタデータ） (2021-11-29T15:19:15Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• CO2: Consistent Contrast for Unsupervised Visual Representation Learning [15.18275537384316]
  コンシステント・コントラスト(CO2)を提案する。これは現在のコントラスト学習フレームワークに一貫性の規則化項を導入するものである。 他の画像からの問合せ作物と「ラベルなし」の類似性について、整合項は正の作物の対応する類似性を擬ラベルとして取り、これら2つの類似性の間の整合性を促進する。 実証的に、CO2は、ImageNetリニアプロトコルにおけるMomentum Contrast(MoCo)の2.9%の精度、1%のラベル付き半教師付き設定での3.8%と1.1%のトップ5の精度を改善する。
  論文  参考訳（メタデータ） (2020-10-05T18:00:01Z)
• Debiased Contrastive Learning [64.98602526764599]
  我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。 実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
  論文  参考訳（メタデータ） (2020-07-01T04:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。