論文の概要: MoPro: Webly Supervised Learning with Momentum Prototypes
- arxiv url: http://arxiv.org/abs/2009.07995v1
- Date: Thu, 17 Sep 2020 00:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 11:40:07.318087
- Title: MoPro: Webly Supervised Learning with Momentum Prototypes
- Title(参考訳): MoPro: Momentum Prototypesを使ったWeb上の教師付き学習
- Authors: Junnan Li, Caiming Xiong, Steven C.H. Hoi
- Abstract要約: 本稿では,教師付き学習におけるアノテーションの可読性を損なうことなく,Webで教師付き表現学習手法を提案する。
MoProは、弱いラベル付きノイズデータセットであるWebVisionで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 140.76848620407168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a webly-supervised representation learning method that does not
suffer from the annotation unscalability of supervised learning, nor the
computation unscalability of self-supervised learning. Most existing works on
webly-supervised representation learning adopt a vanilla supervised learning
method without accounting for the prevalent noise in the training data, whereas
most prior methods in learning with label noise are less effective for
real-world large-scale noisy data. We propose momentum prototypes (MoPro), a
simple contrastive learning method that achieves online label noise correction,
out-of-distribution sample removal, and representation learning. MoPro achieves
state-of-the-art performance on WebVision, a weakly-labeled noisy dataset.
MoPro also shows superior performance when the pretrained model is transferred
to down-stream image classification and detection tasks. It outperforms the
ImageNet supervised pretrained model by +10.5 on 1-shot classification on VOC,
and outperforms the best self-supervised pretrained model by +17.3 when
finetuned on 1\% of ImageNet labeled samples. Furthermore, MoPro is more robust
to distribution shifts. Code and pretrained models are available at
https://github.com/salesforce/MoPro.
- Abstract(参考訳): 本稿では,教師あり学習の注釈不明瞭性や,自己教師あり学習の計算不明瞭性に支障をきたさない webly-supervised representation learning 法を提案する。
既存のウェブ教師あり表現学習では,学習データに有意なノイズを考慮せずに,バニラ教師あり学習法が採用されているが,ラベルノイズを用いた学習手法は,実世界の大規模雑音にはあまり効果がない。
そこで本研究では,オンラインラベルノイズ補正,分散サンプル除去,表現学習を実現する簡易なコントラスト学習手法であるmoproを提案する。
MoProは、弱いラベル付きノイズデータセットであるWebVisionで最先端のパフォーマンスを達成する。
MoProはまた、事前訓練されたモデルが下流の画像分類と検出タスクに転送されるときに、優れたパフォーマンスを示す。
これは imagenet の教師付き事前トレーニングモデルよりも +10.5 高く、imagenet ラベル付きサンプルの 1\% で微調整された場合、最高の自己教師付き事前トレーニングモデル +17.3 よりも優れている。
さらに、MoProは分散シフトに対して堅牢である。
コードと事前トレーニングされたモデルはhttps://github.com/salesforce/moproで入手できる。
関連論文リスト
- A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳(メタデータ) (2023-11-03T17:29:46Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - The effectiveness of MAE pre-pretraining for billion-scale pretraining [65.98338857597935]
モデルの初期化には自己教師付きMAE技術を用いる。
画像分類, 映像認識, 物体検出, ローショット分類, ゼロショット認識にまたがる10種類の視覚的タスクに対して, 事前学習の有効性を評価する。
論文 参考訳(メタデータ) (2023-03-23T17:56:12Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳(メタデータ) (2022-11-17T17:38:55Z) - Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。
MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文 参考訳(メタデータ) (2022-06-07T02:03:06Z) - Beyond Self-Supervision: A Simple Yet Effective Network Distillation
Alternative to Improve Backbones [40.33419553042038]
既製のトレーニング済み大型モデルからナレッジ蒸留による既存ベースラインネットワークの改善を提案します。
本ソリューションは,教師モデルと整合した学生モデルの予測のみを駆動することにより,蒸留を行う。
例えば、MobileNetV3-large と ResNet50-D の ImageNet-1k 検証セットにおけるトップ-1 の精度は、大幅に向上できる。
論文 参考訳(メタデータ) (2021-03-10T09:32:44Z) - Self-supervised Pretraining of Visual Features in the Wild [33.59396072947437]
本研究では, 自己監督が期待に沿うかどうかを, 監視なく無作為かつ非定型な画像上で大規模モデルを訓練することによって検討する。
最後のSelf-supERvised (SEER)モデルであるRegNetYは、512GPUの1Bランダムイメージでトレーニングされた1.3Bパラメータで、84.2%のトップ1精度を実現している。
興味深いことに、自己教師型モデルは、ImageNetの10%にしかアクセスできない77.9%のトップ1を達成している。
論文 参考訳(メタデータ) (2021-03-02T19:12:29Z) - Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised
Performance [0.0]
本研究では,Cifar-10とSVHNを用いた一発半教師付き学習(BOSS)の可能性を示す。
本手法は, クラスプロトタイプの精錬, クラスバランシング, 自己学習を組み合わせた手法である。
厳密な経験的評価は、ディープニューラルネットワークのトレーニングには大規模なデータセットのラベル付けは必要ないという証拠を提供する。
論文 参考訳(メタデータ) (2020-06-16T17:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。