論文の概要: ZOPGA-KD: Zeroth Order PGA Guided Data Free Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2611.00908v1
• Date: Sat, 31 Oct 2026 13:07:43 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:03:48.725235
• Title: ZOPGA-KD: Zeroth Order PGA Guided Data Free Knowledge Distillation
• Title（参考訳）: ZOPGA-KD: Zeroth Order PGA Guided Data Free Knowledge Distillation
• Abstract要約: 本研究では,そのアーキテクチャ,パラメータ,勾配へのアクセスを必要としないデータフリーな知識蒸留法を提案する。 我々は、滑らかなランダムノイズ信号から始まり、プロジェクテッド・グラディエント・アセント(PGA)を介して合成データを生成する。 提案手法をいくつかのベンチマークデータセットで評価し, 蒸留性能が教師モデルパラメータにアクセスできるアプローチに匹敵することを示した。
• 参考スコア（独自算出の注目度）: 1.190427345303959
• License:
• Abstract: Knowledge distillation (KD) enables the transfer of learned representations from a large teacher network to a small student network. In foundational KD, the student network uses the original training data of the teacher model to accomplish this task. However, due to privacy concerns, the original training data is often not available. To overcome this reliance on original training data, several data-free knowledge distillation methods have been developed. Some of these methods operate in the white-box setting, and a few methods generate synthetic data by training a generator network. White-box methods use the teacher model's parameters to obtain a synthetic dataset. To avoid relying on teacher parameters, some methods use computationally expensive generative approaches to obtain such a dataset. There also exist certain black-box methods that generate the synthetic data without accessing teacher parameters. These methods are also computationally intensive. We propose a data-free knowledge distillation method that utilizes just the teacher's output logits and does not require access to its architecture, parameters, or gradients. We generate synthetic data via Projected Gradient Ascent (PGA) starting from smooth random noise signals. Required gradients are obtained through zeroth-order gradient estimation rather than backpropagating through the teacher's parameters. The student is then trained on these synthetically generated samples. We evaluate the proposed method on several benchmark datasets and show that the distillation performance is comparable with approaches that have access to the teacher model parameters.
• Abstract（参考訳）: 知識蒸留(KD)は、学習した表現を大きな教師ネットワークから小さな学生ネットワークに転送することを可能にする。 基礎的なKDでは、学生ネットワークは、教師モデルのオリジナルのトレーニングデータを使用してこのタスクを遂行する。 しかし、プライバシー上の懸念から、オリジナルのトレーニングデータは入手できないことが多い。 このようなトレーニングデータへの依存を克服するため,データフリーな知識蒸留法が開発されている。 これらの手法のいくつかはホワイトボックス設定で動作し、いくつかの方法はジェネレータネットワークをトレーニングすることで合成データを生成する。 ホワイトボックス法は、教師モデルのパラメータを使って合成データセットを得る。 教師のパラメータに頼らないために、計算コストのかかる生成手法を使ってそのようなデータセットを得る方法もある。 また、教師のパラメータにアクセスすることなく合成データを生成するブラックボックスもある。 これらの手法も計算集約的である。 本研究では,教師の出力ロジットのみを利用するデータフリー知識蒸留法を提案し,そのアーキテクチャ,パラメータ,勾配へのアクセスを必要としない。 我々は、滑らかなランダムノイズ信号から始まり、プロジェクテッド・グラディエント・アセント(PGA)を介して合成データを生成する。 必要勾配は教師のパラメータをバックプロパゲートするのではなく、ゼロ階勾配推定によって得られる。 学生はこれらの合成標本を訓練する。 提案手法をいくつかのベンチマークデータセットで評価し, 蒸留性能が教師モデルパラメータにアクセスできるアプローチに匹敵することを示した。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks [61.608453110751206]
  本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。 グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。 ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
  論文  参考訳（メタデータ） (2025-04-01T08:44:27Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Lightweight Self-Knowledge Distillation with Multi-source Information Fusion [3.107478665474057]
  知識蒸留(KD)は、ニューラルネットワークモデル間で知識を伝達する強力な技術である。 マルチソース情報を利用してより情報のある教師を構築する軽量なSKDフレームワークを提案する。 提案するDRG, DSR, およびそれらの組み合わせの性能を, 各種データセットおよびモデルに関する総合的な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-16T05:46:31Z)
• Improved knowledge distillation by utilizing backward pass knowledge in neural networks [17.437510399431606]
  知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。 本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。 自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
  論文  参考訳（メタデータ） (2023-01-27T22:07:38Z)
• Synthetic data generation method for data-free knowledge distillation in regression neural networks [0.0]
  知識蒸留は、教師として知られる大きなニューラルネットワークを、学生として知られる小さなニューラルネットワークに圧縮する技術である。 従来, 学生モデルに逆らって学習したジェネレータモデルを用いて, 合成データを生成可能なデータフリー知識蒸留法が提案されてきた。 本研究では, 各種合成データ生成手法の挙動について検討し, 新たな合成データ生成戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-11T07:26:00Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• Dual Discriminator Adversarial Distillation for Data-free Model Compression [36.49964835173507]
  我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。 具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。 提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
  論文  参考訳（メタデータ） (2021-04-12T12:01:45Z)
• Progressive Network Grafting for Few-Shot Knowledge Distillation [60.38608462158474]
  本稿では, 数ショットデータに適した二段蒸留方式を提案する。 最初のステップでは、生徒のブロックを1つずつ教師に移植し、移植されたブロックのパラメータと他の教師ブロックのパラメータを学習します。 CIFAR10, CIFAR100, ILSVRC-2012で, わずか数サンプルで, 満足のいく結果が得られることを実証した。
  論文  参考訳（メタデータ） (2020-12-09T08:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。