論文の概要: MSVQ: Self-Supervised Learning with Multiple Sample Views and Queues

• arxiv url: http://arxiv.org/abs/2305.05370v1
• Date: Tue, 9 May 2023 12:05:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 12:58:15.941231
• Title: MSVQ: Self-Supervised Learning with Multiple Sample Views and Queues
• Title（参考訳）: MSVQ: 複数のサンプルビューとキューによる自己監督型学習
• Authors: Chen Peng and Xianzhong Long and Yun Li
• Abstract要約: 我々は、新しいシンプルなフレームワーク、すなわちMultiple Sample Views and Queues(MSVQ)を提案する。 2つの相補的および対称的な方法を導入することで、ソフトなラベルをオンザフライで共同で構築する。 生徒は、サンプル間の類似した関係を模倣して、偽陰性サンプルを識別するより柔軟な能力を与える。
• 参考スコア（独自算出の注目度）: 6.186839657478166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised methods based on contrastive learning have achieved great success in unsupervised visual representation learning. However, most methods under this framework suffer from the problem of false negative samples. Inspired by mean shift for self-supervised learning, we propose a new simple framework, namely Multiple Sample Views and Queues (MSVQ). We jointly construct a soft label on-the-fly by introducing two complementary and symmetric ways: multiple augmented positive views and two momentum encoders forming various semantic features of negative samples. Two teacher networks perform similarity relationship calculations with negative samples and then transfer this knowledge to the student. Let the student mimic the similar relationship between the samples, thus giving the student a more flexible ability to identify false negative samples in the dataset. The classification results on four benchmark image datasets demonstrate the high effectiveness and efficiency of our approach compared to some classical methods. Source code and pretrained models are available at $\href{https://github.com/pc-cp/MSVQ}{this~http~URL}$.
• Abstract（参考訳）: 対照的な学習に基づく自己指導手法は、教師なし視覚表現学習において大きな成功を収めた。 しかし、このフレームワークのほとんどのメソッドは偽陰性のサンプルの問題に苦しんでいる。 自己教師型学習における平均シフトに着想を得て,複数のサンプルビューとキュー(MSVQ)という,新しいシンプルなフレームワークを提案する。 提案手法は,2つの相補的・対称的な手法,つまり,複数の拡張正のビューと2つの運動量エンコーダを導入し,様々な意味的特徴を負のサンプルで生成する。 2つの教師ネットワークは、負のサンプルで類似度関係の計算を行い、その知識を生徒に転送する。 学生はサンプル間の類似した関係を模倣することで、データセット内の偽陰性のサンプルをより柔軟に識別することができる。 4つのベンチマーク画像データセットの分類結果から,従来の手法と比較して高い有効性と効率を示す。 ソースコードと事前訓練されたモデルは$\href{https://github.com/pc-cp/MSVQ}{this~http~URL}$で入手できる。

関連論文リスト

• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Compare learning: bi-attention network for few-shot learning [6.559037166322981]
  距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。 本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T07:39:10Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
  我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。 まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。 次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-11-20T08:26:10Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。