論文の概要: ISD: Self-Supervised Learning by Iterative Similarity Distillation

• arxiv url: http://arxiv.org/abs/2012.09259v1
• Date: Wed, 16 Dec 2020 20:50:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 06:23:08.179898
• Title: ISD: Self-Supervised Learning by Iterative Similarity Distillation
• Title（参考訳）: ISD:反復的類似度蒸留による自己指導型学習
• Authors: Ajinkya Tejankar, Soroush Abbasi Koohpayegani, Vipin Pillai, Paolo Favaro, and Hamed Pirsiavash
• Abstract要約: 自己教師付き学習アルゴリズムを導入し,正対と負対の区別ではなく,負のイメージに対してソフトな類似性を用いる。 転送学習におけるBYOLやMoCoといった最先端モデルと比較すると,より優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 39.60300771234578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, contrastive learning has achieved great results in self-supervised learning, where the main idea is to push two augmentations of an image (positive pairs) closer compared to other random images (negative pairs). We argue that not all random images are equal. Hence, we introduce a self supervised learning algorithm where we use a soft similarity for the negative images rather than a binary distinction between positive and negative pairs. We iteratively distill a slowly evolving teacher model to the student model by capturing the similarity of a query image to some random images and transferring that knowledge to the student. We argue that our method is less constrained compared to recent contrastive learning methods, so it can learn better features. Specifically, our method should handle unbalanced and unlabeled data better than existing contrastive learning methods, because the randomly chosen negative set might include many samples that are semantically similar to the query image. In this case, our method labels them as highly similar while standard contrastive methods label them as negative pairs. Our method achieves better results compared to state-of-the-art models like BYOL and MoCo on transfer learning settings. We also show that our method performs better in the settings where the unlabeled data is unbalanced. Our code is available here: https://github.com/UMBCvision/ISD.
• Abstract（参考訳）: 近年、コントラスト学習は、画像(正のペア)を他のランダムな画像(負のペア)よりも2つ増やすという、自己教師付き学習において大きな成果を上げている。 すべてのランダムな画像が等しくないと主張する。 そこで我々は,正対と負対の2値差ではなく,負像にソフトな類似性を用いる自己教師付き学習アルゴリズムを導入する。 質問画像とランダムな画像との類似性を捉え、その知識を学生に伝達することにより、ゆっくりと進化する教師モデルを学生モデルに反復蒸留する。 提案手法は最近のコントラスト学習法に比べて制約が少ないため,より優れた特徴を学習することができる。 具体的には、ランダムに選択された負集合は、クエリ画像と意味的に類似する多くのサンプルを含む可能性があるため、既存のコントラスト学習法よりも不均衡でラベルなしのデータを扱うべきである。 この場合,本手法は非常に類似度が高いが,標準コントラスト法では負のペアとラベル付けする。 転送学習におけるBYOLやMoCoといった最先端モデルと比較すると,より優れた結果が得られる。 また,ラベルのないデータがバランスの取れない環境では,本手法が優れていることを示す。 私たちのコードは、https://github.com/UMBCvision/ISD.comで利用可能です。

関連論文リスト

• Similarity Contrastive Estimation for Image and Video Soft Contrastive Self-Supervised Learning [0.22940141855172028]
  本稿では,インスタンス間の意味的類似性を用いたコントラスト学習の新たな定式化を提案する。 私たちのトレーニングの目標はソフトコントラストで、ポジティブに近づき、ネガティブなインスタンスを押したり引っ張ったりするための継続的分布を見積もります。 我々は,SCEが映像表現を事前学習するための最先端の結果に到達し,学習された表現が映像下流タスクに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-21T16:56:55Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation [12.754320302262533]
  我々は、パッチをスペーシングし、ランキング付けすることで、アンペア画像から画像への変換(PUT)のための新しい負のプルーニング技術を導入する。 提案アルゴリズムは効率的で柔軟で,対応するパッチ間で本質的な情報を安定的に学習することができる。
  論文  参考訳（メタデータ） (2022-04-23T08:31:18Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• Boosting Contrastive Self-Supervised Learning with False Negative Cancellation [40.71224235172881]
  対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。 偽陰性を特定するための新しい手法と、その効果を緩和するための2つの戦略を提案する。 提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-11-23T22:17:21Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Delving into Inter-Image Invariance for Unsupervised Visual Representations [108.33534231219464]
  画像間不変学習の役割をよりよく理解するための研究を提案する。 オンラインラベルはオフラインラベルよりも早く収束する。 半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
  論文  参考訳（メタデータ） (2020-08-26T17:44:23Z)
• Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning [108.999497144296]
  近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。 この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。 その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
  論文  参考訳（メタデータ） (2020-03-11T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。