論文の概要: Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2011.09113v1
• Date: Wed, 18 Nov 2020 06:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 03:37:24.896067
• Title: Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation
• Title（参考訳）: データフリー知識蒸留における任意移動集合の有効性
• Authors: Gaurav Kumar Nayak, Konda Reddy Mopuri, Anirban Chakraborty
• Abstract要約: 本研究では, ランダムノイズ, 公開合成, 自然データセットなどの「任意移動集合」の有効性について検討する。 このデータセットが「ターゲットクラスのバランス」である場合、任意のデータを用いて知識蒸留を行うことによる驚くべき効果を見出す。
• 参考スコア（独自算出の注目度）: 28.874162427052905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation is an effective method to transfer the learning across deep neural networks. Typically, the dataset originally used for training the Teacher model is chosen as the "Transfer Set" to conduct the knowledge transfer to the Student. However, this original training data may not always be freely available due to privacy or sensitivity concerns. In such scenarios, existing approaches either iteratively compose a synthetic set representative of the original training dataset, one sample at a time or learn a generative model to compose such a transfer set. However, both these approaches involve complex optimization (GAN training or several backpropagation steps to synthesize one sample) and are often computationally expensive. In this paper, as a simple alternative, we investigate the effectiveness of "arbitrary transfer sets" such as random noise, publicly available synthetic, and natural datasets, all of which are completely unrelated to the original training dataset in terms of their visual or semantic contents. Through extensive experiments on multiple benchmark datasets such as MNIST, FMNIST, CIFAR-10 and CIFAR-100, we discover and validate surprising effectiveness of using arbitrary data to conduct knowledge distillation when this dataset is "target-class balanced". We believe that this important observation can potentially lead to designing baselines for the data-free knowledge distillation task.
• Abstract（参考訳）: 知識蒸留は深層ニューラルネットワーク間の学習を伝達する効果的な方法である。 通常、教師モデルのトレーニングに使用されたデータセットは、学生に知識の伝達を行うための「トランスファーセット」として選択される。 しかし、このオリジナルのトレーニングデータは、プライバシーや感受性の懸念から、常に自由に利用できるとは限らない。 そのようなシナリオでは、既存のアプローチでは、元のトレーニングデータセットを表す合成集合を反復的に構成するか、一度に1つのサンプルを合成するか、そのような転送集合を構成するために生成モデルを学ぶかのどちらかである。 しかしながら、これら2つのアプローチは複雑な最適化(GANトレーニングまたは1つのサンプルを合成するためのいくつかのバックプロパゲーションステップ)を伴い、しばしば計算コストがかかる。 本稿では,単純な代替手段として,ランダムノイズ,公開合成,自然データセットなどの「任意移動集合」の有効性について検討する。 mnist,fmnist,cifar-10,cifar-100など,複数のベンチマークデータセットで広範な実験を行い,このデータセットが「目標クラスバランス」である場合,任意のデータを用いて知識蒸留を行うことによる驚くべき有効性を発見し検証した。 この重要な観察は、データフリーな知識蒸留タスクのベースライン設計につながる可能性があると考えています。

関連論文リスト

• Group Distributionally Robust Dataset Distillation with Risk Minimization [18.07189444450016]
  本稿では,クラスタリングとリスク尺度の最小化を組み合わせ,DDを遂行する損失を最小化するアルゴリズムを提案する。 数値実験により,その有効一般化と部分群間のロバスト性を示す。
  論文  参考訳（メタデータ） (2024-02-07T09:03:04Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality [78.6359306550245]
  蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。 PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。 実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T20:04:44Z)
• Exploring Data Redundancy in Real-world Image Classification through Data Selection [20.389636181891515]
  ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。 実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。 オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
  論文  参考訳（メタデータ） (2023-06-25T03:31:05Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis [8.87104231451079]
  知識蒸留(KD)は、ディープニューラルネットワーク圧縮に有効なアプローチであることが証明されている。 従来のkdでは、転送された知識は通常、トレーニングサンプルを教師ネットワークに供給することで得られる。 元のトレーニングデータセットは、ストレージコストやプライバシーの問題のために常に利用できるとは限らない。 本研究では,教師の中間特徴空間をモデル化し,データフリーなKD手法を提案する。
  論文  参考訳（メタデータ） (2021-04-10T22:42:14Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。