論文の概要: Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2510.03375v1
- Date: Fri, 03 Oct 2025 13:34:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:58.945171
- Title: Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation
- Title（参考訳）: データフリーな知識蒸留のための条件付き擬似スーパービジョンコントラスト
- Authors: Renrong Shao, Wei Zhang, Jun wang,
- Abstract要約: 我々は、データフリー知識蒸留(CPSC-DFKD)のための新しい学習パラダイム、すなわち条件付き擬似教師付きコントラストを提案する。
CPSC-DFKDの主な革新は,(1)擬似教師付き学習のためのカテゴリ固有の多様なイメージを合成するための条件付き生成対向ネットワークの導入,(2)異なるカテゴリの分布を識別するためのジェネレータのモジュールの改良,(3)教師と学生の視点に基づく擬似教師付きコントラスト学習の提案である。
- 参考スコア（独自算出の注目度）: 7.195870730342018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-free knowledge distillation~(DFKD) is an effective manner to solve model compression and transmission restrictions while retaining privacy protection, which has attracted extensive attention in recent years. Currently, the majority of existing methods utilize a generator to synthesize images to support the distillation. Although the current methods have achieved great success, there are still many issues to be explored. Firstly, the outstanding performance of supervised learning in deep learning drives us to explore a pseudo-supervised paradigm on DFKD. Secondly, current synthesized methods cannot distinguish the distributions of different categories of samples, thus producing ambiguous samples that may lead to an incorrect evaluation by the teacher. Besides, current methods cannot optimize the category-wise diversity samples, which will hinder the student model learning from diverse samples and further achieving better performance. In this paper, to address the above limitations, we propose a novel learning paradigm, i.e., conditional pseudo-supervised contrast for data-free knowledge distillation~(CPSC-DFKD). The primary innovations of CPSC-DFKD are: (1) introducing a conditional generative adversarial network to synthesize category-specific diverse images for pseudo-supervised learning, (2) improving the modules of the generator to distinguish the distributions of different categories, and (3) proposing pseudo-supervised contrastive learning based on teacher and student views to enhance diversity. Comprehensive experiments on three commonly-used datasets validate the performance lift of both the student and generator brought by CPSC-DFKD. The code is available at https://github.com/RoryShao/CPSC-DFKD.git
- Abstract（参考訳）: データフリーな知識蒸留(DFKD)は、プライバシ保護を維持しつつ、モデル圧縮と送信制限の解決に有効な方法であり、近年広く注目を集めている。
現在、既存の方法のほとんどは、生成器を使用して画像合成を行い、蒸留を支援している。
現在の手法は大きな成功を収めていますが、検討すべき課題はたくさんあります。
まず,深層学習における教師付き学習の卓越した性能は,DFKDにおける疑似教師付きパラダイムの探求を促す。
第二に、現在の合成法では、異なるカテゴリのサンプルの分布を区別できないため、教師による誤った評価につながる可能性のある曖昧なサンプルを生成する。
また,本手法では,多様なサンプルから学習する生徒の学習を阻害し,さらなる性能向上を図ることができるため,カテゴリワイドの多様性サンプルの最適化は不可能である。
本稿では,これらの制約に対処するため,データフリーな知識蒸留(CPSC-DFKD)のための条件付き擬似教師付きコントラスト(条件付き擬似コントラスト)を提案する。
CPSC-DFKDの主な革新は,(1)擬似教師付き学習のためのカテゴリ固有の多様なイメージを合成するための条件付き生成対向ネットワークの導入,(2)異なるカテゴリの分布を識別するためのジェネレータのモジュールの改良,(3)教師と学生の視点に基づく擬似教師付きコントラスト学習の提案である。
CPSC-DFKDにより得られた学生とジェネレータの両方のパフォーマンス向上を検証するために、一般的に使用される3つのデータセットに関する総合的な実験を行った。
コードはhttps://github.com/RoryShao/CPSC-DFKD.gitで公開されている。
関連論文リスト
- Relation-Guided Adversarial Learning for Data-free Knowledge Transfer [9.069156418033174]
本稿では,三重項損失を考慮したリレーショナルガイド型逆学習手法を提案する。
本手法は,生成標本のクラス内多様性とクラス間混同を促進することを目的としている。
RGALは従来の最先端手法に比べて精度とデータ効率が大幅に向上した。
論文 参考訳（メタデータ） (2024-12-16T02:11:02Z) - Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。
本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。
その結果,提案手法はSOTA PKD法より優れていることがわかった。
論文 参考訳（メタデータ） (2024-08-16T22:11:01Z) - Discriminative and Consistent Representation Distillation [6.24302896438145]
識別・一貫性蒸留(DCD)
DCDは、教師と生徒の表現の分布の相違を最小限に抑えるために、一貫性の規則化とともに対照的な損失を生んでいる。
本手法では,これらの相補的目的のバランスをとるために,訓練中に適応する学習可能な温度パラメータとバイアスパラメータを導入する。
論文 参考訳（メタデータ） (2024-07-16T14:53:35Z) - Teacher as a Lenient Expert: Teacher-Agnostic Data-Free Knowledge
Distillation [5.710971447109951]
教師に依存しないデータフリー知識蒸留法(TA-DFKD)を提案する。
我々の基本的な考え方は、教師モデルに、そのクラスをジェネレータに強制する厳格な監督者ではなく、サンプルを評価するための優れた専門家の役割を割り当てることである。
本手法は,既存のDFKD法よりも優れた性能を示しながら,教師モデル間での堅牢性と訓練安定性の両立を実現している。
論文 参考訳（メタデータ） (2024-02-18T08:13:57Z) - Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。
これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。
実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。
特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
論文 参考訳（メタデータ） (2024-01-27T19:44:15Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。
提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
論文 参考訳（メタデータ） (2020-05-02T06:56:56Z) - Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。
合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
論文 参考訳（メタデータ） (2020-03-30T02:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。