Fugu-MT 論文翻訳(概要): Data-free Knowledge Distillation with Diffusion Models

論文の概要: Data-free Knowledge Distillation with Diffusion Models

arxiv url: http://arxiv.org/abs/2504.00870v1
Date: Tue, 01 Apr 2025 15:00:33 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-03 13:21:50.657156
Title: Data-free Knowledge Distillation with Diffusion Models
Title（参考訳）: 拡散モデルによるデータフリー知識蒸留
Authors: Xiaohua Qi, Renda Li, Long Peng, Qiang Ling, Jun Yu, Ziyi Chen, Peng Chang, Mei Han, Jing Xiao,
Abstract要約: Data-Free Knowledge Distillation (DFKD)は、教師のニューラルネットワークからの知識を、トレーニングデータへのアクセスを必要とせずに、学生のニューラルネットワークに転送することができる。本稿では拡散モデルに基づく新しい手法DiffDFKDを提案する。
参考スコア（独自算出の注目度）: 32.58839808483813
License:
Abstract: Recently Data-Free Knowledge Distillation (DFKD) has garnered attention and can transfer knowledge from a teacher neural network to a student neural network without requiring any access to training data. Although diffusion models are adept at synthesizing high-fidelity photorealistic images across various domains, existing methods cannot be easiliy implemented to DFKD. To bridge that gap, this paper proposes a novel approach based on diffusion models, DiffDFKD. Specifically, DiffDFKD involves targeted optimizations in two key areas. Firstly, DiffDFKD utilizes valuable information from teacher models to guide the pre-trained diffusion models' data synthesis, generating datasets that mirror the training data distribution and effectively bridge domain gaps. Secondly, to reduce computational burdens, DiffDFKD introduces Latent CutMix Augmentation, an efficient technique, to enhance the diversity of diffusion model-generated images for DFKD while preserving key attributes for effective knowledge transfer. Extensive experiments validate the efficacy of DiffDFKD, yielding state-of-the-art results exceeding existing DFKD approaches. We release our code at https://github.com/xhqi0109/DiffDFKD.
Abstract（参考訳）: 近年、Data-Free Knowledge Distillation (DFKD) が注目され、教師のニューラルネットワークから学生のニューラルネットワークへの知識の転送が可能になった。拡散モデルは、様々な領域にわたる高忠実なフォトリアリスティック画像の合成に適しているが、既存の手法はDFKDに実装できない。このギャップを埋めるために,拡散モデルに基づく新しい手法DiffDFKDを提案する。具体的には、DiffDFKDは2つの重要な領域でターゲット最適化を行う。まず、DiffDFKDは教師モデルの貴重な情報を利用して、事前訓練された拡散モデルのデータ合成をガイドし、トレーニングデータ分布を反映したデータセットを生成し、ドメインギャップを効果的に橋渡しする。第二に、DiffDFKDは効率的な手法であるLatent CutMix Augmentationを導入し、DFKDの拡散モデル生成画像の多様性を高めるとともに、効果的な知識伝達のための重要な属性を保存する。大規模実験によりDiffDFKDの有効性が検証され,既存のDFKD法よりも高い結果が得られた。コードをhttps://github.com/xhqi0109/DiffDFKDでリリースします。

関連論文リスト

Towards Effective Data-Free Knowledge Distillation via Diverse Diffusion Augmentation [20.556083321381514]
データフリー知識蒸留(DFKD)は、モデル圧縮の領域において重要な技術である。本稿では,多種拡散増強(DDA)によるDFKDの革新的アプローチを紹介する。 CIFAR-10, CIFAR-100, Tiny-ImageNetデータセットの総合的な実験により, 本手法の優れた性能が示された。
論文参考訳（メタデータ） (2024-10-23T07:01:16Z)
Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
論文参考訳（メタデータ） (2024-09-27T20:21:19Z)
De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
論文参考訳（メタデータ） (2024-03-28T16:13:22Z)
BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
論文参考訳（メタデータ） (2024-03-23T08:40:38Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
Expanding Expressiveness of Diffusion Models with Limited Data via Self-Distillation based Fine-Tuning [24.791783885165923]
限られたデータセット上での拡散モデルの訓練は、限られた生成能力と表現性の観点から問題を引き起こす。これらの課題に対処するために、SDFT(Self-Distillation for Fine-Tuning diffusion model)を提案する。
論文参考訳（メタデータ） (2023-11-02T06:24:06Z)
BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-06-08T20:30:55Z)
Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
論文参考訳（メタデータ） (2022-05-16T08:56:53Z)
Up to 100x Faster Data-free Knowledge Distillation [52.666615987503995]
我々はFastDFKDを導入し、FastDFKDを桁違いに高速化する。データの集合を個別に最適化する従来の方法とは異なり、共通の特徴を求めるメタシンセサイザーを学習することを提案する。 FastDFKDはほんの数ステップでデータ合成を実現し、データフリートレーニングの効率を大幅に向上させる。
論文参考訳（メタデータ） (2021-12-12T14:56:58Z)
Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文参考訳（メタデータ） (2021-08-26T14:01:04Z)
Federated Knowledge Distillation [42.87991207898215]
フェデレート蒸留(Federated distillation, FD)は、一般的にモデルサイズよりも小さい次元のモデル出力のみを交換する分散学習ソリューションである。この章は、コミュニケーション効率とさまざまなタスクへの適用性を実証しながら、FDの深い理解を提供する。第2部では、分類タスクに対するFDのベースライン実装について詳述し、FLと比較して精度と通信効率の点でその性能を説明している。第3部では、非対称なアップリンク・アンド・ダウンリンク無線チャネル上のFDと、強化学習のためのFDという2つの選択されたアプリケーションを提示している。
論文参考訳（メタデータ） (2020-11-04T15:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。