論文の概要: Revisiting Weakly Supervised Pre-Training of Visual Perception Models

• arxiv url: http://arxiv.org/abs/2201.08371v1
• Date: Thu, 20 Jan 2022 18:55:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 14:19:44.957031
• Title: Revisiting Weakly Supervised Pre-Training of Visual Perception Models
• Title（参考訳）: 視覚知覚モデルの弱教師付き事前学習の再検討
• Authors: Mannat Singh, Laura Gustafson, Aaron Adcock, Vinicius de Freitas Reis, Bugra Gedik, Raj Prateek Kosaraju, Dhruv Mahajan, Ross Girshick, Piotr Doll\'ar, Laurens van der Maaten
• Abstract要約: 大規模で弱い教師付き事前訓練は、完全に教師付きアプローチよりも優れている。 本稿では,ハッシュタグによるモデル事前学習の弱さを再考する。 本研究は,視覚認識システム開発における弱教師付き学習の活用について,説得力のある議論を提起する。
• 参考スコア（独自算出の注目度）: 27.95816470075203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model pre-training is a cornerstone of modern visual recognition systems. Although fully supervised pre-training on datasets like ImageNet is still the de-facto standard, recent studies suggest that large-scale weakly supervised pre-training can outperform fully supervised approaches. This paper revisits weakly-supervised pre-training of models using hashtag supervision with modern versions of residual networks and the largest-ever dataset of images and corresponding hashtags. We study the performance of the resulting models in various transfer-learning settings including zero-shot transfer. We also compare our models with those obtained via large-scale self-supervised learning. We find our weakly-supervised models to be very competitive across all settings, and find they substantially outperform their self-supervised counterparts. We also include an investigation into whether our models learned potentially troubling associations or stereotypes. Overall, our results provide a compelling argument for the use of weakly supervised learning in the development of visual recognition systems. Our models, Supervised Weakly through hashtAGs (SWAG), are available publicly.
• Abstract（参考訳）: モデル事前学習は現代の視覚認識システムの基盤となっている。 ImageNetのようなデータセットでの完全な教師付き事前トレーニングは依然としてデファクトスタンダードであるが、最近の研究は、大規模で弱い教師付き事前トレーニングが完全に教師付きアプローチより優れていることを示唆している。 本稿では,残差ネットワークの現代版と,画像と対応するハッシュタグの最大のデータセットを用いた,ハッシュタグによるモデルの弱い教師付き事前学習について再検討する。 ゼロショット転送を含む様々な移動学習環境で得られたモデルの性能について検討する。 また,本モデルと大規模自己教師付き学習モデルとの比較を行った。 私たちの弱い教師付きモデルは、すべての設定で非常に競争力があり、自己監督型モデルよりも大幅に優れています。 また、私たちのモデルが潜在的な関連やステレオタイプを学習したかどうかについても調査しています。 本研究の結果は,視覚認識システム開発における弱教師付き学習の活用に関する説得力のある議論である。 当社のモデルであるSupervised Weaklyをハッシュタグ(SWAG)で公開しています。

関連論文リスト

• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Self-Supervised Models are Continual Learners [79.70541692930108]
  本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。 我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
  論文  参考訳（メタデータ） (2021-12-08T10:39:13Z)
• Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations [8.336315962271396]
  表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。 我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
  論文  参考訳（メタデータ） (2021-06-15T10:49:46Z)
• Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
  DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。 我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-06-08T09:13:34Z)
• The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models [115.49214555402567]
  事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
  論文  参考訳（メタデータ） (2020-12-12T21:53:55Z)
• How Well Do Self-Supervised Models Transfer? [92.16372657233394]
  我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。 ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。 全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
  論文  参考訳（メタデータ） (2020-11-26T16:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。