論文の概要: Siamese Prototypical Contrastive Learning

• arxiv url: http://arxiv.org/abs/2208.08819v1
• Date: Thu, 18 Aug 2022 13:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 12:59:01.956322
• Title: Siamese Prototypical Contrastive Learning
• Title（参考訳）: シームズ原型コントラスト学習
• Authors: Shentong Mo, Zhun Sun, Chao Li
• Abstract要約: コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
• 参考スコア（独自算出の注目度）: 24.794022951873156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Self-supervised Learning (CSL) is a practical solution that learns meaningful visual representations from massive data in an unsupervised approach. The ordinary CSL embeds the features extracted from neural networks onto specific topological structures. During the training progress, the contrastive loss draws the different views of the same input together while pushing the embeddings from different inputs apart. One of the drawbacks of CSL is that the loss term requires a large number of negative samples to provide better mutual information bound ideally. However, increasing the number of negative samples by larger running batch size also enhances the effects of false negatives: semantically similar samples are pushed apart from the anchor, hence downgrading downstream performance. In this paper, we tackle this problem by introducing a simple but effective contrastive learning framework. The key insight is to employ siamese-style metric loss to match intra-prototype features, while increasing the distance between inter-prototype features. We conduct extensive experiments on various benchmarks where the results demonstrate the effectiveness of our method on improving the quality of visual representations. Specifically, our unsupervised pre-trained ResNet-50 with a linear probe, out-performs the fully-supervised trained version on the ImageNet-1K dataset.
• Abstract（参考訳）: コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 通常のCSLは、ニューラルネットワークから抽出された特徴を特定の位相構造に埋め込む。 トレーニングの進行中に、対照的な損失は、異なる入力から埋め込みを分離しながら、同じ入力の異なるビューを一緒に引き出す。 CSLの欠点の1つは、損失項が理想的にはより良い相互情報を提供するために多くの負のサンプルを必要とすることである。 しかし、実行中のバッチサイズを大きくすることで、負のサンプルの数を増やすことで、偽の陰性の影響も増大する。 本稿では,単純だが効果的なコントラスト学習フレームワークを導入することで,この問題に取り組む。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。 そこで本研究では,様々なベンチマーク実験を行い,視覚的表現の質向上に本手法の有効性を示す。 具体的には、プレトレーニング済みのresnet-50をリニアプローブと組み合わせることで、imagenet-1kデータセットの完全な教師付きトレーニングバージョンよりも優れています。

関連論文リスト

• Rethinking Prototypical Contrastive Learning through Alignment, Uniformity and Correlation [24.794022951873156]
  我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。 具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:12Z)
• Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
  従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。 そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の 総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-04T13:51:29Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Improving Contrastive Learning by Visualizing Feature Transformation [37.548120912055595]
  本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。 まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。 その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
  論文  参考訳（メタデータ） (2021-08-06T07:26:08Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。