論文の概要: NAYER: Noisy Layer Data Generation for Efficient and Effective Data-free Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2310.00258v2
• Date: Fri, 22 Mar 2024 01:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 22:49:51.972521
• Title: NAYER: Noisy Layer Data Generation for Efficient and Effective Data-free Knowledge Distillation
• Title（参考訳）: NAYER: 効率的かつ効果的な知識蒸留のためのノイズ層データ生成
• Authors: Minh-Tuan Tran, Trung Le, Xuan-May Le, Mehrtash Harandi, Quan Hung Tran, Dinh Phung,
• Abstract要約: Data-Free Knowledge Distillation (DFKD)は、教師のニューラルネットワークから学生のニューラルネットワークに、元のデータにアクセスせずに知識を移すことによって、近年大きな進歩を遂げている。 既存のアプローチは、本質的に意味のある情報を欠くランダムノイズ入力からサンプルを生成する際に、重大な課題に直面する。 本稿では,入力からノイズ層へランダムなソースを移動させる新しいノイズ層生成法(NAYER)を提案し,その入力として有意な定数ラベルテキスト埋め込み(LTE)を利用する。
• 参考スコア（独自算出の注目度）: 42.435293471992274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-Free Knowledge Distillation (DFKD) has made significant recent strides by transferring knowledge from a teacher neural network to a student neural network without accessing the original data. Nonetheless, existing approaches encounter a significant challenge when attempting to generate samples from random noise inputs, which inherently lack meaningful information. Consequently, these models struggle to effectively map this noise to the ground-truth sample distribution, resulting in prolonging training times and low-quality outputs. In this paper, we propose a novel Noisy Layer Generation method (NAYER) which relocates the random source from the input to a noisy layer and utilizes the meaningful constant label-text embedding (LTE) as the input. LTE is generated by using the language model once, and then it is stored in memory for all subsequent training processes. The significance of LTE lies in its ability to contain substantial meaningful inter-class information, enabling the generation of high-quality samples with only a few training steps. Simultaneously, the noisy layer plays a key role in addressing the issue of diversity in sample generation by preventing the model from overemphasizing the constrained label information. By reinitializing the noisy layer in each iteration, we aim to facilitate the generation of diverse samples while still retaining the method's efficiency, thanks to the ease of learning provided by LTE. Experiments carried out on multiple datasets demonstrate that our NAYER not only outperforms the state-of-the-art methods but also achieves speeds 5 to 15 times faster than previous approaches. The code is available at https://github.com/tmtuan1307/nayer.
• Abstract（参考訳）: Data-Free Knowledge Distillation (DFKD)は、教師のニューラルネットワークから学生のニューラルネットワークに、元のデータにアクセスせずに知識を移すことによって、近年大きな進歩を遂げている。 それにもかかわらず、既存のアプローチは、本質的に意味のある情報を欠くランダムノイズ入力からサンプルを生成する際に、重大な課題に直面している。 結果として、これらのモデルは、このノイズを地中真実のサンプル分布に効果的にマッピングするのに苦労し、訓練時間と低品質の出力を長くする結果となった。 本稿では,入力からノイズ層へランダムなソースを移動させる新しいノイズ層生成法(NAYER)を提案する。 LTEは一度言語モデルを使用して生成され、その後、すべてのトレーニングプロセスにメモリに格納される。 LTEの重要性は、重要なクラス間情報を含む能力にあるため、少数のトレーニングステップだけで高品質なサンプルを生成することができる。 同時に、モデルが制約ラベル情報を過度に強調することを防止することにより、サンプル生成における多様性の問題に対処する上で、ノイズ層が重要な役割を果たす。 各イテレーションでノイズ層を再起動することにより、LTEによる学習の容易さにより、メソッドの効率を保ちながら、多様なサンプルの生成を容易にすることを目指している。 複数のデータセットで行った実験によると、NAYERは最先端の手法より優れているだけでなく、従来の手法よりも5倍から15倍高速な速度を実現している。 コードはhttps://github.com/tmtuan1307/nayer.comで公開されている。

関連論文リスト

• Data Stream Sampling with Fuzzy Task Boundaries and Noisy Labels [0.03464344220266879]
  進化するデータストリームにおいてノイズラベルを緩和するために,ノイズテストデバイアス法 (NTD) と呼ばれる新しいサンプリング手法を提案する。 NTDは簡単に実装でき、様々なシナリオで実現可能である。 その結果,データストリーム中のノイズラベルのあるシナリオにおけるオンライン連続学習におけるNTDの有効性が検証された。
  論文  参考訳（メタデータ） (2024-04-07T08:32:16Z)
• DIDA: Denoised Imitation Learning based on Domain Adaptation [28.36684781402964]
  ノイズのあるデータから学習するためには、模倣者が必要とされるLND(Learning from Noisy Demonstrations)の問題に焦点を当てる。 本稿では、雑音レベルと専門知識レベルを区別する2つの識別器を設計する、ドメイン適応(DIDA)に基づくDenoized Imitation Learningを提案する。 MuJoCoの実験結果は、DIDAが様々な種類のノイズを持つデモから挑戦的な模倣タスクをうまく処理できることを示した。
  論文  参考訳（メタデータ） (2024-04-04T11:29:05Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• INN: A Method Identifying Clean-annotated Samples via Consistency Effect in Deep Neural Networks [1.1470070927586016]
  ノイズのあるラベル付きトレーニングデータからクリーンなラベル付きデータを洗練するための新しい手法であるINNを導入する。 INN法は計算量が多いが、小型の戦略よりも安定で強力である。
  論文  参考訳（メタデータ） (2021-06-29T09:06:21Z)
• Learning from Noisy Labels via Dynamic Loss Thresholding [69.61904305229446]
  我々はDLT(Dynamic Loss Thresholding)という新しい手法を提案する。 トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。 CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-04-01T07:59:03Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。