論文の概要: The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models

• arxiv url: http://arxiv.org/abs/2012.06908v2
• Date: Mon, 29 Mar 2021 18:13:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 05:21:23.182129
• Title: The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models
• Title（参考訳）: コンピュータビジョンモデルにおける教師付き自己指導型事前学習のためのロッキーティケット仮説
• Authors: Tianlong Chen, Jonathan Frankle, Shiyu Chang, Sijia Liu, Yang Zhang, Michael Carbin, Zhangyang Wang
• Abstract要約: 事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
• 参考スコア（独自算出の注目度）: 115.49214555402567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The computer vision world has been re-gaining enthusiasm in various pre-trained models, including both classical ImageNet supervised pre-training and recently emerged self-supervised pre-training such as simCLR and MoCo. Pre-trained weights often boost a wide range of downstream tasks including classification, detection, and segmentation. Latest studies suggest that pre-training benefits from gigantic model capacity. We are hereby curious and ask: after pre-training, does a pre-trained model indeed have to stay large for its downstream transferability? In this paper, we examine supervised and self-supervised pre-trained models through the lens of the lottery ticket hypothesis (LTH). LTH identifies highly sparse matching subnetworks that can be trained in isolation from (nearly) scratch yet still reach the full models' performance. We extend the scope of LTH and question whether matching subnetworks still exist in pre-trained computer vision models, that enjoy the same downstream transfer performance. Our extensive experiments convey an overall positive message: from all pre-trained weights obtained by ImageNet classification, simCLR, and MoCo, we are consistently able to locate such matching subnetworks at 59.04% to 96.48% sparsity that transfer universally to multiple downstream tasks, whose performance see no degradation compared to using full pre-trained weights. Further analyses reveal that subnetworks found from different pre-training tend to yield diverse mask structures and perturbation sensitivities. We conclude that the core LTH observations remain generally relevant in the pre-training paradigm of computer vision, but more delicate discussions are needed in some cases. Codes and pre-trained models will be made available at: https://github.com/VITA-Group/CV_LTH_Pre-training.
• Abstract（参考訳）: コンピュータビジョンの世界は、古典的なImageNetによる事前トレーニングや、simCLRやMoCoといった自己教師型事前トレーニングなど、様々な事前訓練モデルに再び熱中している。 事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究では、トレーニング前の利点は巨大モデルの能力にあることが示唆されている。 事前トレーニングの後、トレーニング済みのモデルは、下流の転送可能性のために本当に大きく保たなければならないのでしょうか? 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。 lthは、(ほぼ)スクラッチから分離してトレーニングできるが、それでもフルモデルのパフォーマンスに到達可能な、非常にスパースなサブネットワークを識別する。 我々は、LTHの範囲を広げ、同じ下流転送性能のコンピュータビジョンモデルにマッチングサブネットがまだ存在するかどうかを問う。 ImageNetの分類、simCLR、MoCoによって得られた全ての事前トレーニングされた重みから、マッチングされたサブネットワークを59.04%から96.48%の範囲で、複数の下流タスクに普遍的に転送することができ、完全な事前トレーニングされた重みよりもパフォーマンスが劣化しない。 さらに分析したところ、異なる事前学習から発見されたサブネットは、多様なマスク構造と摂動感度をもたらす傾向があることが明らかになった。 lthの中核的な観測はコンピュータビジョンの事前学習パラダイムに一般的に関係していると結論づけるが、場合によってはより繊細な議論が必要である。 コードと事前トレーニングされたモデルは、https://github.com/VITA-Group/CV_LTH_Pre-trainingで利用可能になる。

関連論文リスト

• An Empirical Analysis of Forgetting in Pre-trained Models with Incremental Low-Rank Updates [11.90029443742706]
  本研究は,ローランド適応(LoRA)のランクが,事前学習の基礎課題の忘れ方,可塑性およびその後の課題の忘れ方に及ぼす影響について検討する。 また、この方法で微調整された視覚トランスフォーマーは、残余のネットワークでは観測できないような、ある種の文脈的「忘れ」を示す。
  論文  参考訳（メタデータ） (2024-05-28T11:29:25Z)
• Battle of the Backbones: A Large-Scale Comparison of Pretrained Models across Computer Vision Tasks [139.3768582233067]
  Battle of the Backbones (BoB)は、ニューラルネットワークベースのコンピュータビジョンシステムのためのベンチマークツールである。 視覚変換器(ViT)と自己教師型学習(SSL)がますます人気になっている。 同じアーキテクチャと同じようなサイズの事前トレーニングデータセット上でのアップルとアプリケーションの比較では、SSLバックボーンは極めて競争力があることが分かりました。
  論文  参考訳（メタデータ） (2023-10-30T18:23:58Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Revisiting Weakly Supervised Pre-Training of Visual Perception Models [27.95816470075203]
  大規模で弱い教師付き事前訓練は、完全に教師付きアプローチよりも優れている。 本稿では,ハッシュタグによるモデル事前学習の弱さを再考する。 本研究は,視覚認識システム開発における弱教師付き学習の活用について,説得力のある議論を提起する。
  論文  参考訳（メタデータ） (2022-01-20T18:55:06Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• Unsupervised Vision-and-Language Pre-training Without Parallel Images and Captions [92.47566804182338]
  画像キャプションコーパスを使わずに教師なし事前学習により、強力なV&L表現モデルを学習できるかどうかを検討する。 特に,テキストのみのコーパスと画像のみのコーパスで,マスク・アンド・予測の事前学習を行うことを提案する。 4つの英語のV&Lベンチマークで、アライメントされたデータで事前訓練されたモデルに近いこのような単純なアプローチの性能が得られた。
  論文  参考訳（メタデータ） (2020-10-24T08:17:54Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。