論文の概要: UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual
Representation Learning
- arxiv url: http://arxiv.org/abs/2103.10773v1
- Date: Fri, 19 Mar 2021 12:42:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 14:31:33.232719
- Title: UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual
Representation Learning
- Title(参考訳): UniMoCo: 教師なし、セミスーパービジョン、フルスーパービジョンのビジュアル表現学習
- Authors: Zhigang Dai, Bolun Cai, Yugeng Lin, Junying Chen
- Abstract要約: ラベル付きデータの任意の比率とラベルなしデータトレーニングをサポートするために,Unified Momentum Contrast (UniMoCo)を提案する。
実験の結果,UniMoCoは教師なし,半教師あり,教師ありの視覚表現学習に適していることがわかった。
- 参考スコア(独自算出の注目度): 6.716818915809002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Momentum Contrast (MoCo) achieves great success for unsupervised visual
representation. However, there are a lot of supervised and semi-supervised
datasets, which are already labeled. To fully utilize the label annotations, we
propose Unified Momentum Contrast (UniMoCo), which extends MoCo to support
arbitrary ratios of labeled data and unlabeled data training. Compared with
MoCo, UniMoCo has two modifications as follows: (1) Different from a single
positive pair in MoCo, we maintain multiple positive pairs on-the-fly by
comparing the query label to a label queue. (2) We propose a Unified
Contrastive(UniCon) loss to support an arbitrary number of positives and
negatives in a unified pair-wise optimization perspective. Our UniCon is more
reasonable and powerful than the supervised contrastive loss in theory and
practice. In our experiments, we pre-train multiple UniMoCo models with
different ratios of ImageNet labels and evaluate the performance on various
downstream tasks. Experiment results show that UniMoCo generalizes well for
unsupervised, semi-supervised and supervised visual representation learning.
- Abstract(参考訳): Momentum Contrast (MoCo) は教師なし視覚表現において大きな成功を収めている。
しかし、すでにラベル付けされている、教師付きおよび半教師付きデータセットが多数存在する。
ラベルアノテーションを完全に活用するために,ラベル付きデータの任意の比率とラベルなしデータトレーニングをサポートするためにMoCoを拡張したUnified Momentum Contrast (UniMoCo)を提案する。
MoCoと比較して、UniMoCoは以下の2つの変更がある: 1) MoCoの1つの正のペアとは異なる、クエリラベルとラベルキューを比較することで、複数の正のペアをオンザフライで維持する。
2)一対最適化の観点から任意の数の正と負をサポートするための統一コントラスト(ユニコン)損失を提案する。
私たちのUniConは、理論と実践における監督された対照的な損失よりも合理的で強力です。
実験では,イメージネットラベルの異なる複数のUniMoCoモデルを事前訓練し,下流タスクの性能評価を行った。
実験の結果,UniMoCoは教師なし,半教師あり,教師ありの視覚表現学習に適していることがわかった。
関連論文リスト
- Meta Co-Training: Two Views are Better than One [4.050257210426548]
本稿では,Meta Pseudo Labelsアプローチを2つの視点に拡張したMeta Co-Trainingを提案する。
提案手法は,ImageNet-10%のトレーニングリソースをほとんど必要とせずに,新たな最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-29T21:11:58Z) - CoNe: Contrast Your Neighbours for Supervised Image Classification [62.12074282211957]
Contrast Your Neighbours (CoNe)は、教師付き画像分類のための学習フレームワークである。
CoNeは、より適応的で洗練されたターゲットを生成するために、類似した隣人の特徴をアンカーとして採用している。
私たちのCoNeは、最近のTimトレーニングレシピを上回るResNet-50で、ImageNetの80.8%のTop-1精度を実現しています。
論文 参考訳(メタデータ) (2023-08-21T14:49:37Z) - DealMVC: Dual Contrastive Calibration for Multi-view Clustering [78.54355167448614]
マルチビュークラスタリングのための新しいデュアルコントラストキャリブレーションネットワーク(DealMVC)を提案する。
まず、グローバルなクロスビュー特徴を得るための融合機構を設計し、その上で、ビュー特徴類似性グラフと高信頼な擬ラベルグラフを整列させることにより、グローバルなコントラストキャリブレーション損失を提案する。
トレーニング手順の間、対話型クロスビュー機能は、ローカルレベルとグローバルレベルの両方で共同最適化される。
論文 参考訳(メタデータ) (2023-08-17T14:14:28Z) - PiCO: Contrastive Label Disambiguation for Partial Label Learning [37.91710419258801]
部分ラベル学習(Partial label learning, PLL)は、各トレーニング例を粗い候補セットでラベル付けできる重要な問題である。
本研究では,表現学習とラベル曖昧化における2つの重要な研究課題に対処することによって,このギャップを埋める。
提案するフレームワークは,対照的な学習モジュールと,新しいクラスプロトタイプベースのラベル曖昧化から構成される。
論文 参考訳(メタデータ) (2022-01-22T07:48:41Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳(メタデータ) (2021-10-10T12:03:52Z) - Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。
符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文 参考訳(メタデータ) (2020-11-26T15:43:27Z) - EqCo: Equivalent Rules for Self-supervised Contrastive Learning [81.45848885547754]
本稿では,InfoNCEをベースとしたコントラスト学習フレームワークにおいて,負のサンプル数と無関係に自己教師型学習を実現する手法を提案する。
InfoMaxの原理に着想を得て、負のペアの数に応じて、対照的な損失のマージン項を適応的にスケールする必要があることを指摘する。
論文 参考訳(メタデータ) (2020-10-05T11:39:04Z) - Unsupervised Feature Learning by Cross-Level Instance-Group
Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。
CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。
セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文 参考訳(メタデータ) (2020-08-09T21:13:13Z) - Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation
Learning [108.999497144296]
近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。
この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。
その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
論文 参考訳(メタデータ) (2020-03-11T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。