論文の概要: Data-free Knowledge Distillation with Diffusion Models

• arxiv url: http://arxiv.org/abs/2504.00870v1
• Date: Tue, 01 Apr 2025 15:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 15:43:09.153164
• Title: Data-free Knowledge Distillation with Diffusion Models
• Title（参考訳）: 拡散モデルによるデータフリー知識蒸留
• Authors: Xiaohua Qi, Renda Li, Long Peng, Qiang Ling, Jun Yu, Ziyi Chen, Peng Chang, Mei Han, Jing Xiao,
• Abstract要約: Data-Free Knowledge Distillation (DFKD)は、教師のニューラルネットワークからの知識を、トレーニングデータへのアクセスを必要とせずに、学生のニューラルネットワークに転送することができる。 本稿では拡散モデルに基づく新しい手法DiffDFKDを提案する。
• 参考スコア（独自算出の注目度）: 32.58839808483813
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently Data-Free Knowledge Distillation (DFKD) has garnered attention and can transfer knowledge from a teacher neural network to a student neural network without requiring any access to training data. Although diffusion models are adept at synthesizing high-fidelity photorealistic images across various domains, existing methods cannot be easiliy implemented to DFKD. To bridge that gap, this paper proposes a novel approach based on diffusion models, DiffDFKD. Specifically, DiffDFKD involves targeted optimizations in two key areas. Firstly, DiffDFKD utilizes valuable information from teacher models to guide the pre-trained diffusion models' data synthesis, generating datasets that mirror the training data distribution and effectively bridge domain gaps. Secondly, to reduce computational burdens, DiffDFKD introduces Latent CutMix Augmentation, an efficient technique, to enhance the diversity of diffusion model-generated images for DFKD while preserving key attributes for effective knowledge transfer. Extensive experiments validate the efficacy of DiffDFKD, yielding state-of-the-art results exceeding existing DFKD approaches. We release our code at https://github.com/xhqi0109/DiffDFKD.
• Abstract（参考訳）: 近年、Data-Free Knowledge Distillation (DFKD) が注目され、教師のニューラルネットワークから学生のニューラルネットワークへの知識の転送が可能になった。 拡散モデルは、様々な領域にわたる高忠実なフォトリアリスティック画像の合成に適しているが、既存の手法はDFKDに実装できない。 このギャップを埋めるために,拡散モデルに基づく新しい手法DiffDFKDを提案する。 具体的には、DiffDFKDは2つの重要な領域でターゲット最適化を行う。 まず、DiffDFKDは教師モデルの貴重な情報を利用して、事前訓練された拡散モデルのデータ合成をガイドし、トレーニングデータ分布を反映したデータセットを生成し、ドメインギャップを効果的に橋渡しする。 第二に、DiffDFKDは効率的な手法であるLatent CutMix Augmentationを導入し、DFKDの拡散モデル生成画像の多様性を高めるとともに、効果的な知識伝達のための重要な属性を保存する。 大規模実験によりDiffDFKDの有効性が検証され,既存のDFKD法よりも高い結果が得られた。 コードをhttps://github.com/xhqi0109/DiffDFKDでリリースします。

関連論文リスト

• CAE-DFKD: Bridging the Transferability Gap in Data-Free Knowledge Distillation [18.87847437834389]
  Data-Free Knowledge Distillation (DFKD) は、訓練済みの教師ネットワークから、実際の訓練データにアクセスすることなく、対象の学生モデルに知識を伝達することができる。 既存のDFKD法は主に関連するデータセットにおける画像認識性能の向上に重点を置いており、しばしば学習された表現の伝達可能性の重要な側面を無視する。 本稿では,データ-自由知識蒸留法(CAE-DFKD)を提案する。この手法は,モデル一般化を改善するための画像レベルの手法に依存するが,DFKDに直接適用した場合はフェールする。
  論文  参考訳（メタデータ） (2025-04-30T09:58:02Z)
• Towards Effective Data-Free Knowledge Distillation via Diverse Diffusion Augmentation [20.556083321381514]
  データフリー知識蒸留(DFKD)は、モデル圧縮の領域において重要な技術である。 本稿では,多種拡散増強(DDA)によるDFKDの革新的アプローチを紹介する。 CIFAR-10, CIFAR-100, Tiny-ImageNetデータセットの総合的な実験により, 本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-10-23T07:01:16Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
  Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。 既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。 本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-03-28T16:13:22Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Expanding Expressiveness of Diffusion Models with Limited Data via Self-Distillation based Fine-Tuning [24.791783885165923]
  限られたデータセット上での拡散モデルの訓練は、限られた生成能力と表現性の観点から問題を引き起こす。 これらの課題に対処するために、SDFT(Self-Distillation for Fine-Tuning diffusion model)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T06:24:06Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Dense Depth Distillation with Out-of-Distribution Simulated Images [30.79756881887895]
  単分子深度推定(MDE)のためのデータフリー知識蒸留(KD)について検討する。 KDは、訓練された教師モデルからそれを圧縮し、対象領域でのトレーニングデータを欠くことにより、現実世界の深度知覚タスクの軽量モデルを学ぶ。 提案手法は, トレーニング画像の1/6に留まらず, ベースラインKDのマージンが良好であり, 性能も若干向上していることを示す。
  論文  参考訳（メタデータ） (2022-08-26T07:10:01Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• Up to 100x Faster Data-free Knowledge Distillation [52.666615987503995]
  我々はFastDFKDを導入し、FastDFKDを桁違いに高速化する。 データの集合を個別に最適化する従来の方法とは異なり、共通の特徴を求めるメタシンセサイザーを学習することを提案する。 FastDFKDはほんの数ステップでデータ合成を実現し、データフリートレーニングの効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-12-12T14:56:58Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。