論文の概要: Masked Generative Distillation

• arxiv url: http://arxiv.org/abs/2205.01529v1
• Date: Tue, 3 May 2022 14:30:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 14:23:29.137328
• Title: Masked Generative Distillation
• Title（参考訳）: マスク生成蒸留
• Authors: Zhendong Yang, Zhe Li, Mingqi Shao, Dachuan Shi, Zehuan Yuan, Chun Yuan
• Abstract要約: Masked Generative Distillation (MGD) は一般的な特徴に基づく蒸留法である。 本稿では,教師が生徒の特徴回復を指導することで,生徒の表現力を向上できることを示す。
• 参考スコア（独自算出の注目度）: 23.52519832438352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation has been applied to various tasks successfully. The current distillation algorithm usually improves students' performance by imitating the output of the teacher. This paper shows that teachers can also improve students' representation power by guiding students' feature recovery. From this point of view, we propose Masked Generative Distillation (MGD), which is simple: we mask random pixels of the student's feature and force it to generate the teacher's full feature through a simple block. MGD is a truly general feature-based distillation method, which can be utilized on various tasks, including image classification, object detection, semantic segmentation and instance segmentation. We experiment on different models with extensive datasets and the results show that all the students achieve excellent improvements. Notably, we boost ResNet-18 from 69.90% to 71.69% ImageNet top-1 accuracy, RetinaNet with ResNet-50 backbone from 37.4 to 41.0 Boundingbox mAP, SOLO based on ResNet-50 from 33.1 to 36.2 Mask mAP and DeepLabV3 based on ResNet-18 from 73.20 to 76.02 mIoU. Our codes are available at https://github.com/yzd-v/MGD.
• Abstract（参考訳）: 知識蒸留は様々なタスクにうまく適用されている。 現在の蒸留アルゴリズムは、通常、教師の出力を模倣して生徒のパフォーマンスを向上させる。 本稿では,教師が生徒の特徴回復を指導することで,生徒の表現力を向上できることを示す。 この観点からは,学生の特徴のランダムな画素をマスキングし,教師の完全な特徴を単純なブロックで生成させる,マスク生成蒸留(mgd)を提案する。 MGDは, 画像分類, オブジェクト検出, セマンティックセグメンテーション, インスタンスセグメンテーションなど, 様々なタスクに利用することができる, 真の汎用的特徴ベース蒸留法である。 広範囲なデータセットで異なるモデルで実験を行い、その結果、すべての学生が優れた改善を達成できたことを示す。 特に、ResNet-18を69.90%から71.69%に、ImageNet top-1精度、ResNet-50バックボーンを37.4から41.0に、SoLOを33.1から36.2に、Mask mAPを36.2に、DeepLabV3を73.20から76.02 mIoUに強化しました。 私たちのコードはhttps://github.com/yzd-v/mgdで利用可能です。

関連論文リスト

• Generative Denoise Distillation: Simple Stochastic Noises Induce Efficient Knowledge Transfer for Dense Prediction [3.2976453916809803]
  本稿では,教師から生徒に知識を伝達するための革新的な方法である生成脱ノイズ蒸留(GDD)を提案する。 GDDは、学生のコンセプト機能にセマンティックノイズを埋め込んで、浅いネットワークから生成されたインスタンス機能に埋め込む。 オブジェクト検出,インスタンス分割,セマンティックセグメンテーションを広範囲に実験し,本手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-16T12:53:42Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• A Simple and Generic Framework for Feature Distillation via Channel-wise Transformation [35.233203757760066]
  学習可能な非線形チャネルワイズ変換を提案し,教師モデルと生徒の特徴を一致させる。 本手法は,様々なコンピュータビジョンタスクにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-03-23T12:13:29Z)
• SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
  本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
  論文  参考訳（メタデータ） (2022-07-31T15:07:25Z)
• Estimating and Maximizing Mutual Information for Knowledge Distillation [24.254198219979667]
  相互情報最大化知識蒸留(MIMKD)を提案する。 提案手法は,教師と学生ネットワーク間の局所的特徴表現とグローバル的特徴表現の相互情報に対する低境界を同時に推定し,最大化するために,対照的な目的を用いる。 これは、より高性能だが計算コストの高いモデルから知識を伝達することで、低容量モデルの性能を向上させるために使用できる。
  論文  参考訳（メタデータ） (2021-10-29T17:49:56Z)
• Deep Structured Instance Graph for Distilling Object Detectors [82.16270736573176]
  本稿では,検出システム内の情報を利用して,検出知識の蒸留を容易にするための簡単な知識構造を提案する。 我々は,1段と2段の両方の検出器上で,多様な学生-教師ペアによるCOCOオブジェクト検出の課題に対して,新しい最先端の成果を達成した。
  論文  参考訳（メタデータ） (2021-09-27T08:26:00Z)
• DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning [94.89221799550593]
  SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。 最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。 単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
  論文  参考訳（メタデータ） (2021-04-19T08:22:52Z)
• Distilling Object Detectors via Decoupled Features [69.62967325617632]
  より優れた学生検出器を学習するための,デカップリング機能(DeFeat)を用いた新しい蒸留アルゴリズムを提案する。 バックボーンの異なる様々な検出器を用いた実験により, 提案手法の破れが, 被写体検出の最先端蒸留法を上回ることができることを示した。
  論文  参考訳（メタデータ） (2021-03-26T13:58:49Z)
• MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks [57.69809561405253]
  我々は、ImageNet上でバニラResNet-50を80%以上のTop-1精度に向上できるフレームワークを、トリックなしで導入する。 本手法は,バニラResNet-50を用いた224x224の1つの作物サイズを用いて,ImageNetの80.67%のトップ1精度を得る。 我々のフレームワークは常に69.76%から73.19%に改善されている。
  論文  参考訳（メタデータ） (2020-09-17T17:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。