論文の概要: Improving Contrastive Learning by Visualizing Feature Transformation
- arxiv url: http://arxiv.org/abs/2108.02982v1
- Date: Fri, 6 Aug 2021 07:26:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-09 14:31:33.357688
- Title: Improving Contrastive Learning by Visualizing Feature Transformation
- Title（参考訳）: 特徴変換の可視化によるコントラスト学習の改善
- Authors: Rui Zhu, Bingchen Zhao, Jingen Liu, Zhenglong Sun, Chang Wen Chen
- Abstract要約: 本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。
まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。
その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
- 参考スコア（独自算出の注目度）: 37.548120912055595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning, which aims at minimizing the distance between positive
pairs while maximizing that of negative ones, has been widely and successfully
applied in unsupervised feature learning, where the design of positive and
negative (pos/neg) pairs is one of its keys. In this paper, we attempt to
devise a feature-level data manipulation, differing from data augmentation, to
enhance the generic contrastive self-supervised learning. To this end, we first
design a visualization scheme for pos/neg score (Pos/neg score indicates cosine
similarity of pos/neg pair.) distribution, which enables us to analyze,
interpret and understand the learning process. To our knowledge, this is the
first attempt of its kind. More importantly, leveraging this tool, we gain some
significant observations, which inspire our novel Feature Transformation
proposals including the extrapolation of positives. This operation creates
harder positives to boost the learning because hard positives enable the model
to be more view-invariant. Besides, we propose the interpolation among
negatives, which provides diversified negatives and makes the model more
discriminative. It is the first attempt to deal with both challenges
simultaneously. Experiment results show that our proposed Feature
Transformation can improve at least 6.0% accuracy on ImageNet-100 over MoCo
baseline, and about 2.0% accuracy on ImageNet-1K over the MoCoV2 baseline.
Transferring to the downstream tasks successfully demonstrate our model is less
task-bias. Visualization tools and codes
https://github.com/DTennant/CL-Visualizing-Feature-Transformation .
- Abstract（参考訳）: 負ペア間の距離を最小化しつつ、負ペア間の距離を最大化することを目的としたコントラスト学習は、正ペアと負ペア(pos/neg)の設計が鍵の1つである教師なし特徴学習において、広く成功している。
本稿では,データ拡張と異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト的自己教師付き学習の強化を試みる。
この目的のために,まずpos/negスコアの可視化手法を設計する(pos/negスコアはpos/negペアのコサイン類似性を示す)。
分散 – 学習プロセスの解析,解釈,理解を可能にします。
私たちの知る限りでは、これはその種の最初の試みです。
さらに重要なことは、このツールを活用することで、いくつかの重要な観察が得られ、ポジティブな外挿を含む新しい特徴変換の提案に刺激を与えます。
この操作は、よりビュー不変なモデルを可能にするため、学習を促進するために難しいポジティブを生成する。
さらに,多角的否定を与え,モデルの識別性を高める負の補間法を提案する。
両方の課題を同時に対処する最初の試みである。
その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
ダウンストリームタスクへの転送は、我々のモデルをうまく実証し、タスクバイアスを減らします。
視覚化ツールとコード https://github.com/DTennant/CL-Visualizing-Feature-Transformation 。
関連論文リスト
- Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - When hard negative sampling meets supervised contrastive learning [17.173114048398947]
我々は、微調整フェーズ中にハードネガティブサンプリングを組み込んだ新しい教師付きコントラスト学習目標であるSCHaNeを導入する。
SchaNeは、様々なベンチマークで、トップ1の精度で強いベースラインBEiT-3を上回っている。
提案手法は,ImageNet-1kのベースモデルに対して,86.14%の精度で新たな最先端技術を実現する。
論文 参考訳（メタデータ） (2023-08-28T20:30:10Z) - Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。
本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。
重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文 参考訳（メタデータ） (2022-08-18T13:25:30Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-07-04T13:51:29Z) - Crafting Better Contrastive Views for Siamese Representation Learning [20.552194081238248]
提案するContrastiveCropは,シームズ表現学習のための作物を効果的に生成する。
完全に教師なしの方法で、トレーニングプロセス内に意味を意識したオブジェクトローカライゼーション戦略を提案する。
プラグインとフレームワークに依存しないモジュールとして、ContrastiveCropはSimCLR、MoCo、BYOL、SimSiamを0.4%の精度で改善している。
論文 参考訳（メタデータ） (2022-02-07T15:09:00Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳（メタデータ） (2021-10-10T12:03:52Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳（メタデータ） (2021-06-10T17:59:13Z) - With a Little Help from My Friends: Nearest-Neighbor Contrastive
Learning of Visual Representations [87.72779294717267]
対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。
提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
論文 参考訳（メタデータ） (2021-04-29T17:56:08Z) - Delving into Inter-Image Invariance for Unsupervised Visual
Representations [108.33534231219464]
画像間不変学習の役割をよりよく理解するための研究を提案する。
オンラインラベルはオフラインラベルよりも早く収束する。
半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
論文 参考訳（メタデータ） (2020-08-26T17:44:23Z) - SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文 参考訳（メタデータ） (2020-06-30T03:18:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。