論文の概要: DSPNet: Towards Slimmable Pretrained Networks based on Discriminative Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2207.06075v1
• Date: Wed, 13 Jul 2022 09:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 15:06:14.742223
• Title: DSPNet: Towards Slimmable Pretrained Networks based on Discriminative Self-supervised Learning
• Title（参考訳）: DSPNet:差別的自己教師型学習に基づくスリムな事前学習ネットワークを目指して
• Authors: Shaoru Wang, Zeming Li, Jin Gao, Liang Li, Weiming Hu
• Abstract要約: 我々はDSPNet(Driminative-SSL-based Slimmable Pretrained Networks)を提案する。 DSPNetは一度にトレーニングでき、その後、さまざまなサイズの複数のサブネットワークにスリム化される。 個別に事前学習したネットワークに対して、ImageNet上でのDSPNetの同等または改善性能を示す。
• 参考スコア（独自算出の注目度）: 43.45674911425684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has achieved promising downstream performance. However, when facing various resource budgets in real-world applications, it costs a huge computation burden to pretrain multiple networks of various sizes one by one. In this paper, we propose Discriminative-SSL-based Slimmable Pretrained Networks (DSPNet), which can be trained at once and then slimmed to multiple sub-networks of various sizes, each of which faithfully learns good representation and can serve as good initialization for downstream tasks with various resource budgets. Specifically, we extend the idea of slimmable networks to a discriminative SSL paradigm, by integrating SSL and knowledge distillation gracefully. We show comparable or improved performance of DSPNet on ImageNet to the networks individually pretrained one by one under the linear evaluation and semi-supervised evaluation protocols, while reducing large training cost. The pretrained models also generalize well on downstream detection and segmentation tasks. Code will be made public.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、有望な下流のパフォーマンスを達成した。 しかし、実世界のアプリケーションで様々なリソース予算に直面している場合、様々なサイズのネットワークを1つずつ事前訓練するには膨大な計算負担がかかる。 本稿では,sslに基づくslimmable pretrained network (dspnet) を提案する。このネットワークは,一度にトレーニングし,様々なサイズのサブネットワークにスリム化することができる。 具体的には、SSLと知識蒸留を適切に統合することにより、スリムなネットワークを差別的なSSLパラダイムに拡張する。 線形評価プロトコルと半教師付き評価プロトコルにより,画像ネット上でのDSPNetの性能を1対1で事前訓練し,トレーニングコストを大幅に削減した。 事前訓練されたモデルはまた、下流検出とセグメンテーションタスクをうまく一般化する。 コードは公開されます。

関連論文リスト

• One is More: Diverse Perspectives within a Single Network for Efficient DRL [43.249133438809125]
  OMNetは、単一のネットワーク内で複数のワークを活用する新しい学習パラダイムであり、多様なアウトプットを効率的に提供する。 OMNetは、最小限の追加オーバーヘッドで、様々な深層強化学習アルゴリズムに容易に適用できる。
  論文  参考訳（メタデータ） (2023-10-21T13:37:13Z)
• Effective Self-supervised Pre-training on Low-compute Networks without Distillation [6.530011859253459]
  報告された自己教師型学習のパフォーマンスは、標準的な教師付き事前学習よりも大きなマージンで遅れている。 以前の作業のほとんどは、低スループットネットワークのキャパシティボトルネックによるパフォーマンスの低下を理由としている。 我々は、現実的な制約の原因となる有害要因と、それらが自己監督型低コンプット設定に固有のものであるかどうかについて、より詳しく検討する。
  論文  参考訳（メタデータ） (2022-10-06T10:38:07Z)
• Match to Win: Analysing Sequences Lengths for Efficient Self-supervised Learning in Speech and Audio [19.865050806327147]
  自己教師型学習は、音声および音声関連アプリケーションにおいて不可欠であることが証明されている。 本稿では、特定配列長の異なるSSL事前トレーニングに関する最初の実証的研究について述べる。 ショートシーケンスでのトレーニングは、すべてのタスクで満足なパフォーマンスを維持しながら、リソースコストを劇的に削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T16:35:42Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Self-Supervised Learning for Binary Networks by Joint Classifier Training [11.612308609123566]
  本稿では,バイナリネットワークのための自己教師付き学習手法を提案する。 バイナリネットワークのより良いトレーニングのために,特徴類似性損失,損失項の動的バランススキーム,マルチステージトレーニングの修正を提案する。 実証実験により、BSSLは、下流タスクにおけるバイナリネットワークの自己教師付き学習ベースラインよりも優れ、特定のタスクにおける教師付き事前学習よりも優れています。
  論文  参考訳（メタデータ） (2021-10-17T15:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。