Fugu-MT 論文翻訳(概要): C2G-KD: PCA-Constrained Generator for Data-Free Knowledge Distillation

論文の概要: C2G-KD: PCA-Constrained Generator for Data-Free Knowledge Distillation

arxiv url: http://arxiv.org/abs/2507.18533v1
Date: Thu, 24 Jul 2025 16:00:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-25 15:10:44.01781
Title: C2G-KD: PCA-Constrained Generator for Data-Free Knowledge Distillation
Title（参考訳）: C2G-KD:データフリーな知識蒸留のためのPCA制約発電機
Authors: Magnus Bengtsson, Kenneth Östberg,
Abstract要約: クラス条件生成器は、凍結教師モデルとPCAから派生した幾何学的制約によりガイドされた合成サンプルを作成するように訓練される。ジェネレータは実際のトレーニングデータを観測せず、セマンティックな損失と構造的な損失の組み合わせによって教師の出力を活性化することを学ぶ。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce C2G-KD, a data-free knowledge distillation framework where a class-conditional generator is trained to produce synthetic samples guided by a frozen teacher model and geometric constraints derived from PCA. The generator never observes real training data but instead learns to activate the teacher's output through a combination of semantic and structural losses. By constraining generated samples to lie within class-specific PCA subspaces estimated from as few as two real examples per class, we preserve topological consistency and diversity. Experiments on MNIST show that even minimal class structure is sufficient to bootstrap useful synthetic training pipelines.
Abstract（参考訳）: C2G-KDは, 凍結教師モデルとPCAから導出される幾何学的制約によって導かれる合成サンプルを生成するために, クラス条件生成装置を訓練するデータフリー知識蒸留フレームワークである。ジェネレータは実際のトレーニングデータを観測せず、セマンティックな損失と構造的な損失の組み合わせによって教師の出力を活性化することを学ぶ。生成したサンプルをクラス固有のPCAサブ空間に制限することにより、クラス毎に2つの実例を推定することで、トポロジ的一貫性と多様性を保ちます。 MNISTの実験は、最小限のクラス構造でさえ有用な合成訓練パイプラインをブートストラップするのに十分であることを示している。

関連論文リスト

Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
論文参考訳（メタデータ） (2025-06-20T00:17:14Z)
Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2025-04-19T14:08:56Z)
Hybrid Data-Free Knowledge Distillation [11.773963069904955]
我々はtextbfHybrtextbfid textbfData-textbfFree textbfDistillation (HiDFD) と呼ばれるデータフリー知識蒸留法を提案する。我々のHiDFDは、既存の手法の120倍少ない収集データを用いて最先端のパフォーマンスを実現することができる。
論文参考訳（メタデータ） (2024-12-18T05:52:16Z)
Teacher as a Lenient Expert: Teacher-Agnostic Data-Free Knowledge Distillation [5.710971447109951]
教師に依存しないデータフリー知識蒸留法(TA-DFKD)を提案する。我々の基本的な考え方は、教師モデルに、そのクラスをジェネレータに強制する厳格な監督者ではなく、サンプルを評価するための優れた専門家の役割を割り当てることである。本手法は,既存のDFKD法よりも優れた性能を示しながら,教師モデル間での堅牢性と訓練安定性の両立を実現している。
論文参考訳（メタデータ） (2024-02-18T08:13:57Z)
Subject-Independent Deep Architecture for EEG-based Motor Imagery Classification [0.5439020425819]
脳波(EEG)に基づく運動脳波(MI)分類は、非侵襲的脳-コンピュータインタフェース(BCI)システムにおいて広く用いられている手法である。我々は、新しい主題に依存しない半教師付き深層構造(SSDA)を提案する。提案されたSSDAは、教師なし要素と教師なし要素の2つの部分から構成される。
論文参考訳（メタデータ） (2024-01-27T23:05:51Z)
Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
論文参考訳（メタデータ） (2023-12-27T15:06:36Z)
Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
論文参考訳（メタデータ） (2022-08-21T07:47:05Z)
Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-23T09:35:03Z)
Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2021-04-19T12:26:26Z)
Dual Discriminator Adversarial Distillation for Data-free Model Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文参考訳（メタデータ） (2021-04-12T12:01:45Z)
S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels [1.3764085113103222]
条件付きGAN(cGAN)は、ユーザ定義入力に出力を条件付けすることで生成プロセスを制御するメカニズムを提供する。スパースラベルを用いて条件付きマッピングを学習するcGANの半教師付きトレーニングフレームワークを提案する。提案手法の有効性を,複数のデータセットと異なる条件付きタスクで示す。
論文参考訳（メタデータ） (2020-10-23T19:13:44Z)
S2OSC: A Holistic Semi-Supervised Approach for Open Set Classification [34.31116140704079]
我々は、クラス外のインスタンスフィルタリングとモデル再学習をトランスダクティブな方法で組み込んだOSCアルゴリズムS2OSCを開発した。 S2OSCは、CIFAR-10上のF1の85.4%と300の擬似ラベルを含む様々なOSCタスクで最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2020-08-11T12:26:00Z)
Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN [80.17705319689139]
複数のシングルタスク/マルチタスクの教師から,多タスクの学生ネットワークを構築するために,データフリーな知識アマルガメート戦略を提案する。トレーニングデータを持たない提案手法は, フル教師付き手法と比較して, 驚くほど競争力のある結果が得られる。
論文参考訳（メタデータ） (2020-03-20T03:20:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。