論文の概要: Self-supervised Pretraining of Visual Features in the Wild

• arxiv url: http://arxiv.org/abs/2103.01988v1
• Date: Tue, 2 Mar 2021 19:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 15:12:03.198638
• Title: Self-supervised Pretraining of Visual Features in the Wild
• Title（参考訳）: 野生の視覚機能の自己監督的前訓練
• Authors: Priya Goyal, Mathilde Caron, Benjamin Lefaudeux, Min Xu, Pengchao Wang, Vivek Pai, Mannat Singh, Vitaliy Liptchinsky, Ishan Misra, Armand Joulin, Piotr Bojanowski
• Abstract要約: 本研究では, 自己監督が期待に沿うかどうかを, 監視なく無作為かつ非定型な画像上で大規模モデルを訓練することによって検討する。 最後のSelf-supERvised (SEER)モデルであるRegNetYは、512GPUの1Bランダムイメージでトレーニングされた1.3Bパラメータで、84.2%のトップ1精度を実現している。 興味深いことに、自己教師型モデルは、ImageNetの10%にしかアクセスできない77.9%のトップ1を達成している。
• 参考スコア（独自算出の注目度）: 33.59396072947437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, self-supervised learning methods like MoCo, SimCLR, BYOL and SwAV have reduced the gap with supervised methods. These results have been achieved in a control environment, that is the highly curated ImageNet dataset. However, the premise of self-supervised learning is that it can learn from any random image and from any unbounded dataset. In this work, we explore if self-supervision lives to its expectation by training large models on random, uncurated images with no supervision. Our final SElf-supERvised (SEER) model, a RegNetY with 1.3B parameters trained on 1B random images with 512 GPUs achieves 84.2% top-1 accuracy, surpassing the best self-supervised pretrained model by 1% and confirming that self-supervised learning works in a real world setting. Interestingly, we also observe that self-supervised models are good few-shot learners achieving 77.9% top-1 with access to only 10% of ImageNet. Code: https://github.com/facebookresearch/vissl
• Abstract（参考訳）: 近年,MoCo,SimCLR,BYOL,SwAVといった自己指導型学習手法が,教師付き手法とのギャップを減らしている。 これらの結果は、高度にキュレートされたimagenetデータセットであるコントロール環境で達成されている。 しかし、自己教師付き学習の前提は、任意のランダムな画像と任意の無制限データセットから学習できることである。 本研究では, 自己監督が期待に沿うかどうかを, 監視なく無作為かつ非定型な画像上で大規模モデルを訓練することによって検討する。 私たちの最後のSelf-supervised(SEER)モデルは、512 GPUで1Bランダムイメージで訓練された1.3Bパラメータを持つRegNetYで、84.2%のトップ-1精度を達成し、最高の自己監督プリトレーニングモデルを1%超え、実際の環境で自己監督学習が機能することを確認します。 興味深いことに、自己教師型モデルは、ImageNetの10%にしかアクセスできない77.9%のトップ1を達成している。 コード: https://github.com/facebookresearch/vissl

関連論文リスト

• The effectiveness of MAE pre-pretraining for billion-scale pretraining [65.98338857597935]
  モデルの初期化には自己教師付きMAE技術を用いる。 画像分類, 映像認識, 物体検出, ローショット分類, ゼロショット認識にまたがる10種類の視覚的タスクに対して, 事前学習の有効性を評価する。
  論文  参考訳（メタデータ） (2023-03-23T17:56:12Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
  自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。 自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。 本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-07-05T03:53:42Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• CompRess: Self-Supervised Learning by Compressing Representations [14.739041141948032]
  我々は、既に学んだ、深い自己教師付きモデル(教師)をより小さなモデル(学生)に圧縮するモデル圧縮法を開発した。 教師の埋め込み空間におけるデータポイント間の相対的類似性を模倣するように、学生モデルを訓練する。 ImageNet分類において、自己監督型AlexNetが教師型AlexNetを上回ったのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-10-28T02:49:18Z)
• MoPro: Webly Supervised Learning with Momentum Prototypes [140.76848620407168]
  本稿では,教師付き学習におけるアノテーションの可読性を損なうことなく,Webで教師付き表現学習手法を提案する。 MoProは、弱いラベル付きノイズデータセットであるWebVisionで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-09-17T00:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。