論文の概要: DisCo: Remedy Self-supervised Learning on Lightweight Models with
Distilled Contrastive Learning
- arxiv url: http://arxiv.org/abs/2104.09124v1
- Date: Mon, 19 Apr 2021 08:22:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:39:02.655600
- Title: DisCo: Remedy Self-supervised Learning on Lightweight Models with
Distilled Contrastive Learning
- Title（参考訳）: DisCo: 拡張コントラスト学習による軽量モデルの自己指導型学習
- Authors: Yuting Gao, Jia-Xin Zhuang, Ke Li, Hao Cheng, Xiaowei Guo, Feiyue
Huang, Rongrong Ji, Xing Sun
- Abstract要約: SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。
最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。
単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
- 参考スコア（独自算出の注目度）: 94.89221799550593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While self-supervised representation learning (SSL) has received widespread
attention from the community, recent research argue that its performance will
suffer a cliff fall when the model size decreases. The current method mainly
relies on contrastive learning to train the network and in this work, we
propose a simple yet effective Distilled Contrastive Learning (DisCo) to ease
the issue by a large margin. Specifically, we find the final embedding obtained
by the mainstream SSL methods contains the most fruitful information, and
propose to distill the final embedding to maximally transmit a teacher's
knowledge to a lightweight model by constraining the last embedding of the
student to be consistent with that of the teacher. In addition, in the
experiment, we find that there exists a phenomenon termed Distilling BottleNeck
and present to enlarge the embedding dimension to alleviate this problem. Our
method does not introduce any extra parameter to lightweight models during
deployment. Experimental results demonstrate that our method achieves the
state-of-the-art on all lightweight models. Particularly, when
ResNet-101/ResNet-50 is used as teacher to teach EfficientNet-B0, the linear
result of EfficientNet-B0 on ImageNet is very close to ResNet-101/ResNet-50,
but the number of parameters of EfficientNet-B0 is only 9.4%/16.3% of
ResNet-101/ResNet-50.
- Abstract（参考訳）: 自己監督型表現学習(SSL)はコミュニティから広く注目を集めているが,最近の研究では,モデルサイズが減少すると,その性能が低下すると主張している。
本研究は,ネットワークを訓練するためのコントラスト学習に主に依存しており,この問題を大きなマージンで解決するために,簡易かつ効果的な蒸留コントラスト学習(disco)を提案する。
具体的には,主流のSSL方式で得られた最終埋め込みに最も実りのある情報が含まれており,教師の知識を最大限に軽量モデルに伝達するための最終埋め込みを,教師の知識と整合性を保つために,教師の知識を制約することを提案する。
また, 本実験では, 蒸留ボトルネックと呼ばれる現象が存在し, 埋込み寸法を拡大してこの問題を緩和できることがわかった。
我々の手法は、展開中に軽量モデルに余分なパラメータを導入しない。
実験の結果,全軽量モデルにおいて最先端の手法が得られた。
特に、ResNet-101/ResNet-50が教師として使われているとき、ImageNet上のEfficientNet-B0の線形結果はResNet-101/ResNet-50に非常に近いが、EfficientNet-B0のパラメータの数はResNet-101/ResNet-50の9.4%/16.3%に過ぎない。
関連論文リスト
- Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning [0.0]
本研究では,教師のプロジェクションヘッドを学生に再利用するtextscRetroを提案する。
実験結果から, 軽量モデルにおける最先端モデルに対して, 大幅な改善が得られた。
論文 参考訳（メタデータ） (2024-05-24T07:53:09Z) - A Light-weight Deep Learning Model for Remote Sensing Image
Classification [70.66164876551674]
リモートセンシング画像分類(RSIC)のための高性能で軽量なディープラーニングモデルを提案する。
NWPU-RESISC45ベンチマークで広範な実験を行うことで、提案した教師学生モデルは最先端システムより優れている。
論文 参考訳（メタデータ） (2023-02-25T09:02:01Z) - Establishing a stronger baseline for lightweight contrastive models [10.63129923292905]
最近の研究は、特別に設計された効率的なネットワークのための自己指導型コントラスト学習の性能劣化を報告している。
一般的な実践は、事前訓練された対照的な教師モデルを導入し、教師が生成した蒸留信号で軽量ネットワークを訓練することである。
本研究では,教師モデルの事前学習を使わずに,軽量コントラストモデルのための強力なベースラインを確立することを目的とする。
論文 参考訳（メタデータ） (2022-12-14T11:20:24Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Controlled Sparsity via Constrained Optimization or: How I Learned to
Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。
スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。
本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文 参考訳（メタデータ） (2022-08-08T21:24:20Z) - LilNetX: Lightweight Networks with EXtreme Model Compression and
Structured Sparsification [36.651329027209634]
LilNetXは、ニューラルネットワークのためのエンドツーエンドのトレーニング可能なテクニックである。
特定の精度-レート-計算トレードオフを持つ学習モデルを可能にする。
論文 参考訳（メタデータ） (2022-04-06T17:59:10Z) - Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。
画像分類と物体検出におけるNetAugの有効性を示す。
論文 参考訳（メタデータ） (2021-10-17T18:48:41Z) - Learnable Expansion-and-Compression Network for Few-shot
Class-Incremental Learning [87.94561000910707]
破滅的忘れとモデルオーバーフィッティングの問題を解決するための学習可能な拡張・圧縮ネットワーク(LEC-Net)を提案する。
LEC-Netは機能の表現能力を拡大し、モデル正規化の観点から古いネットワークの特徴漂流を緩和します。
CUB/CIFAR-100データセットの実験では、LEC-Netがベースラインを57%改善し、最先端の56%を上回ります。
論文 参考訳（メタデータ） (2021-04-06T04:34:21Z) - Beyond Self-Supervision: A Simple Yet Effective Network Distillation
Alternative to Improve Backbones [40.33419553042038]
既製のトレーニング済み大型モデルからナレッジ蒸留による既存ベースラインネットワークの改善を提案します。
本ソリューションは,教師モデルと整合した学生モデルの予測のみを駆動することにより,蒸留を行う。
例えば、MobileNetV3-large と ResNet50-D の ImageNet-1k 検証セットにおけるトップ-1 の精度は、大幅に向上できる。
論文 参考訳（メタデータ） (2021-03-10T09:32:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。