論文の概要: Unleash Data Generation for Efficient and Effective Data-free Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2310.00258v1
• Date: Sat, 30 Sep 2023 05:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 05:31:26.881591
• Title: Unleash Data Generation for Efficient and Effective Data-free Knowledge Distillation
• Title（参考訳）: 効率的かつ効果的な知識蒸留のためのアンリーシュデータ生成
• Authors: Minh-Tuan Tran, Trung Le, Xuan-May Le, Mehrtash Harandi, Quan Hung Tran, and Dinh Phung
• Abstract要約: Data-Free Knowledge Distillation (DFKD)は、教師のニューラルネットワークから学生のニューラルネットワークに、元のデータにアクセスすることなく知識を移行するという、その基本原則によって、最近顕著な進歩を遂げた。 既存のアプローチは、本質的に意味のある情報を欠くランダムノイズ入力からサンプルを生成する際に、重大な課題に直面する。 入力から雑音層へランダムなソースを移動させる新しいノイズ層生成法 (NAYER) を提案し, 有意義なラベルテキスト埋め込み(LTE) を入力として利用する。
• 参考スコア（独自算出の注目度）: 42.435293471992274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-Free Knowledge Distillation (DFKD) has recently made remarkable advancements with its core principle of transferring knowledge from a teacher neural network to a student neural network without requiring access to the original data. Nonetheless, existing approaches encounter a significant challenge when attempting to generate samples from random noise inputs, which inherently lack meaningful information. Consequently, these models struggle to effectively map this noise to the ground-truth sample distribution, resulting in the production of low-quality data and imposing substantial time requirements for training the generator. In this paper, we propose a novel Noisy Layer Generation method (NAYER) which relocates the randomness source from the input to a noisy layer and utilizes the meaningful label-text embedding (LTE) as the input. The significance of LTE lies in its ability to contain substantial meaningful inter-class information, enabling the generation of high-quality samples with only a few training steps. Simultaneously, the noisy layer plays a key role in addressing the issue of diversity in sample generation by preventing the model from overemphasizing the constrained label information. By reinitializing the noisy layer in each iteration, we aim to facilitate the generation of diverse samples while still retaining the method's efficiency, thanks to the ease of learning provided by LTE. Experiments carried out on multiple datasets demonstrate that our NAYER not only outperforms the state-of-the-art methods but also achieves speeds 5 to 15 times faster than previous approaches.
• Abstract（参考訳）: Data-Free Knowledge Distillation (DFKD)は、教師のニューラルネットワークから学生のニューラルネットワークに、元のデータにアクセスすることなく知識を移行するという、その基本原則によって、最近顕著な進歩を遂げた。 それでも、ランダムなノイズ入力からサンプルを生成しようとすると、既存のアプローチは大きな課題に直面する。 結果として、これらのモデルは、このノイズを地中サンプル分布に効果的にマッピングすることに苦労し、その結果、低品質のデータを生成し、ジェネレータのトレーニングに十分な時間要件を課すことになる。 本稿では,入力から雑音層へランダムなソースを移動させ,有意義なラベルテキスト埋め込み(LTE)を入力として利用する,新しいノイズ層生成法(NAYER)を提案する。 LTEの重要性は、重要なクラス間情報を含む能力にあるため、少数のトレーニングステップだけで高品質なサンプルを生成することができる。 同時に、モデルが制約ラベル情報を過度に強調することを防止することにより、サンプル生成における多様性の問題に対処する上で、ノイズ層が重要な役割を果たす。 各イテレーションでノイズ層を再起動することにより、LTEによる学習の容易さにより、メソッドの効率を保ちながら多様なサンプルの生成を容易にすることを目指している。 複数のデータセットで行った実験により、NAYERは最先端の手法より優れているだけでなく、従来の手法よりも5倍から15倍高速であることが示された。

関連論文リスト

• Data Stream Sampling with Fuzzy Task Boundaries and Noisy Labels [0.03464344220266879]
  進化するデータストリームにおいてノイズラベルを緩和するために,ノイズテストデバイアス法 (NTD) と呼ばれる新しいサンプリング手法を提案する。 NTDは簡単に実装でき、様々なシナリオで実現可能である。 その結果,データストリーム中のノイズラベルのあるシナリオにおけるオンライン連続学習におけるNTDの有効性が検証された。
  論文  参考訳（メタデータ） (2024-04-07T08:32:16Z)
• DIDA: Denoised Imitation Learning based on Domain Adaptation [28.36684781402964]
  ノイズのあるデータから学習するためには、模倣者が必要とされるLND(Learning from Noisy Demonstrations)の問題に焦点を当てる。 本稿では、雑音レベルと専門知識レベルを区別する2つの識別器を設計する、ドメイン適応(DIDA)に基づくDenoized Imitation Learningを提案する。 MuJoCoの実験結果は、DIDAが様々な種類のノイズを持つデモから挑戦的な模倣タスクをうまく処理できることを示した。
  論文  参考訳（メタデータ） (2024-04-04T11:29:05Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• INN: A Method Identifying Clean-annotated Samples via Consistency Effect in Deep Neural Networks [1.1470070927586016]
  ノイズのあるラベル付きトレーニングデータからクリーンなラベル付きデータを洗練するための新しい手法であるINNを導入する。 INN法は計算量が多いが、小型の戦略よりも安定で強力である。
  論文  参考訳（メタデータ） (2021-06-29T09:06:21Z)
• Learning from Noisy Labels via Dynamic Loss Thresholding [69.61904305229446]
  我々はDLT(Dynamic Loss Thresholding)という新しい手法を提案する。 トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。 CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-04-01T07:59:03Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。