論文の概要: Large-Scale Generative Data-Free Distillation
- arxiv url: http://arxiv.org/abs/2012.05578v1
- Date: Thu, 10 Dec 2020 10:54:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-15 18:56:10.139681
- Title: Large-Scale Generative Data-Free Distillation
- Title（参考訳）: 大規模生成データフリー蒸留
- Authors: Liangchen Luo, Mark Sandler, Zi Lin, Andrey Zhmoginov, Andrew Howard
- Abstract要約: 本質的な正規化層の統計を利用して生成画像モデルを訓練する新しい方法を提案する。
提案手法は, CIFAR-10とCIFAR-100のデータフリー蒸留性能を95.02%, 77.02%に向上させる。
ImageNetデータセットにスケールすることができますが、私たちの知る限り、データフリー環境で生成モデルを使用することは一度もありません。
- 参考スコア（独自算出の注目度）: 17.510996270055184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation is one of the most popular and effective techniques
for knowledge transfer, model compression and semi-supervised learning. Most
existing distillation approaches require the access to original or augmented
training samples. But this can be problematic in practice due to privacy,
proprietary and availability concerns. Recent work has put forward some methods
to tackle this problem, but they are either highly time-consuming or unable to
scale to large datasets. To this end, we propose a new method to train a
generative image model by leveraging the intrinsic normalization layers'
statistics of the trained teacher network. This enables us to build an ensemble
of generators without training data that can efficiently produce substitute
inputs for subsequent distillation. The proposed method pushes forward the
data-free distillation performance on CIFAR-10 and CIFAR-100 to 95.02% and
77.02% respectively. Furthermore, we are able to scale it to ImageNet dataset,
which to the best of our knowledge, has never been done using generative models
in a data-free setting.
- Abstract（参考訳）: 知識蒸留は知識伝達、モデル圧縮、半教師あり学習において最も一般的で効果的な技術の一つである。
既存の蒸留手法のほとんどは、オリジナルまたは強化されたトレーニングサンプルへのアクセスを必要とする。
しかしこれは、プライバシ、プロプライエタリ、可用性の懸念から、実際には問題となる可能性がある。
最近の研究でこの問題に対処する方法がいくつか提案されているが、それは非常に時間がかかるか、大規模なデータセットにスケールできないかのいずれかである。
そこで本研究では,教師ネットワークの固有正規化レイヤの統計情報を活用することによって,生成画像モデルをトレーニングする手法を提案する。
これにより、後続蒸留のための代替入力を効率的に生成できるトレーニングデータなしで、ジェネレータのアンサンブルを構築することができる。
提案手法は, CIFAR-10とCIFAR-100のデータフリー蒸留性能を95.02%, 77.02%に向上させる。
さらに、imagenetデータセットにスケールすることが可能で、私たちの知る限りでは、データフリーな設定で生成モデルを使ったことがない。
関連論文リスト
- Data Distillation Can Be Like Vodka: Distilling More Times For Better
Quality [78.6359306550245]
蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。
PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。
実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-10-10T20:04:44Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T20:30:55Z) - Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。
蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。
蒸留における因果関係から最も寄与した試料を見出した。
論文 参考訳（メタデータ） (2023-05-28T06:53:41Z) - Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。
このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。
生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-02T17:59:31Z) - DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。
技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。
データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
論文 参考訳（メタデータ） (2023-04-14T15:12:19Z) - Learning to Generate Synthetic Training Data using Gradient Matching and
Implicit Differentiation [77.34726150561087]
本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。
近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
論文 参考訳（メタデータ） (2022-03-16T11:45:32Z) - Conditional Generative Data-Free Knowledge Distillation based on
Attention Transfer [0.8594140167290099]
実データを必要としない効率的な携帯ネットワークを訓練するための条件付き生成データフリー知識蒸留(CGDD)フレームワークを提案する。
本フレームワークでは,教師モデルから抽出した知識を除き,事前設定ラベルを付加的な補助情報として導入する。
CIFAR10, CIFAR100, Caltech101では, 99.63%, 99.07%, 99.84%の相対精度が得られた。
論文 参考訳（メタデータ） (2021-12-31T09:23:40Z) - Dual Discriminator Adversarial Distillation for Data-free Model
Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。
具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。
提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文 参考訳（メタデータ） (2021-04-12T12:01:45Z) - Beyond Self-Supervision: A Simple Yet Effective Network Distillation
Alternative to Improve Backbones [40.33419553042038]
既製のトレーニング済み大型モデルからナレッジ蒸留による既存ベースラインネットワークの改善を提案します。
本ソリューションは,教師モデルと整合した学生モデルの予測のみを駆動することにより,蒸留を行う。
例えば、MobileNetV3-large と ResNet50-D の ImageNet-1k 検証セットにおけるトップ-1 の精度は、大幅に向上できる。
論文 参考訳（メタデータ） (2021-03-10T09:32:44Z) - Enhancing Data-Free Adversarial Distillation with Activation
Regularization and Virtual Interpolation [19.778192371420793]
データフリーの逆蒸留フレームワークは生成ネットワークを展開し、教師モデルの知識を生徒モデルに転送する。
データ生成効率を向上させるために、アクティベーションレギュラライザと仮想敵対法を追加します。
CIFAR-100の最先端データフリー手法よりも精度が13.8%高い。
論文 参考訳（メタデータ） (2021-02-23T11:37:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。