論文の概要: Learning Privacy-Preserving Student Networks via Discriminative-Generative Distillation
- arxiv url: http://arxiv.org/abs/2409.02404v1
- Date: Wed, 4 Sep 2024 03:06:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 20:25:21.928460
- Title: Learning Privacy-Preserving Student Networks via Discriminative-Generative Distillation
- Title（参考訳）: 識別的生成蒸留による学生ネットワークのプライバシー保護学習
- Authors: Shiming Ge, Bochao Liu, Pengju Wang, Yong Li, Dan Zeng,
- Abstract要約: ディープモデルは、実用デプロイメントにおいてプライバシー漏洩のリスクを引き起こす可能性がある。
本稿では,プライバシー保護深層モデル学習のための識別・生成蒸留手法を提案する。
提案手法は,プライベートデータに対するクエリコストと精度の低下を統一的に制御できる。
- 参考スコア（独自算出の注目度）: 24.868697898254368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep models have proved successful in learning rich knowledge from massive well-annotated data, they may pose a privacy leakage risk in practical deployment. It is necessary to find an effective trade-off between high utility and strong privacy. In this work, we propose a discriminative-generative distillation approach to learn privacy-preserving deep models. Our key idea is taking models as bridge to distill knowledge from private data and then transfer it to learn a student network via two streams. First, discriminative stream trains a baseline classifier on private data and an ensemble of teachers on multiple disjoint private subsets, respectively. Then, generative stream takes the classifier as a fixed discriminator and trains a generator in a data-free manner. After that, the generator is used to generate massive synthetic data which are further applied to train a variational autoencoder (VAE). Among these synthetic data, a few of them are fed into the teacher ensemble to query labels via differentially private aggregation, while most of them are embedded to the trained VAE for reconstructing synthetic data. Finally, a semi-supervised student learning is performed to simultaneously handle two tasks: knowledge transfer from the teachers with distillation on few privately labeled synthetic data, and knowledge enhancement with tangent-normal adversarial regularization on many triples of reconstructed synthetic data. In this way, our approach can control query cost over private data and mitigate accuracy degradation in a unified manner, leading to a privacy-preserving student model. Extensive experiments and analysis clearly show the effectiveness of the proposed approach.
- Abstract（参考訳）: ディープモデルは、大量の注釈付きデータから豊富な知識を学習することに成功したが、実践的なデプロイメントにおいてプライバシー漏洩のリスクが生じる可能性がある。
高いユーティリティと強力なプライバシの間の効果的なトレードオフを見つける必要があります。
本研究では,プライバシ保存深度モデル学習のための識別・生成蒸留手法を提案する。
私たちのキーとなるアイデアは、モデルをブリッジとして、プライベートデータから知識を抽出し、それを2つのストリームで学習する学生ネットワークに転送することです。
まず、差別的ストリームは、それぞれ、プライベートデータに基づくベースライン分類器と、複数の非結合なプライベートサブセット上の教師のアンサンブルを訓練する。
そして、生成ストリームは、分類器を固定判別器として、データフリーでジェネレータを訓練する。
その後、このジェネレータを使用して大量の合成データを生成し、変分オートエンコーダ(VAE)を訓練する。
これらの合成データのうち、いくつかは教師のアンサンブルに送られ、差分的にプライベートアグリゲーションを通じてラベルを問い合わせるが、そのほとんどは合成データを再構築するために訓練されたVAEに埋め込まれている。
最後に, 教師からの知識の伝達と, 教師からの知識の伝達と, 教師からの知識の伝達を同時に行う。
このようにして、我々の手法は、プライベートデータに対するクエリコストを制御し、精度の低下を統一的に軽減し、プライバシー保護の学生モデルに繋がる。
大規模な実験と分析により,提案手法の有効性が明らかとなった。
関連論文リスト
- FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。
FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。
本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
論文 参考訳（メタデータ） (2024-03-10T08:41:22Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳（メタデータ） (2023-12-10T07:38:56Z) - Distribution Shift Matters for Knowledge Distillation with Webly
Collected Images [91.66661969598755]
異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。
まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。
また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
論文 参考訳（メタデータ） (2023-07-21T10:08:58Z) - Approximate, Adapt, Anonymize (3A): a Framework for Privacy Preserving
Training Data Release for Machine Learning [3.29354893777827]
データリリースフレームワークである3A(Approximate, Adapt, Anonymize)を導入し、機械学習のデータユーティリティを最大化する。
本稿では,実データセットと民生データセットでトレーニングしたモデルの性能指標の相違が最小限に抑えられることを示す実験的な証拠を示す。
論文 参考訳（メタデータ） (2023-07-04T18:37:11Z) - Differentially Private Synthetic Data Generation via
Lipschitz-Regularised Variational Autoencoders [3.7463972693041274]
生成モデルが個々のトレーニング記録の多くの詳細を記憶する傾向があることは、しばしば見落とされがちである。
本稿では,生成モデルにおける本質を直接活用するデータ生成手法について検討する。
論文 参考訳（メタデータ） (2023-04-22T07:24:56Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳（メタデータ） (2021-09-12T15:51:41Z) - Dual Discriminator Adversarial Distillation for Data-free Model
Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。
具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。
提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文 参考訳（メタデータ） (2021-04-12T12:01:45Z) - Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without
Sharing Private Information [55.866673486753115]
プライバシーとセキュリティを守るために拡張可能で弾力性のある学習フレームワークを提案します。
提案するフレームワークは分散Asynchronized Discriminator Generative Adrial Networks (AsynDGAN) である。
論文 参考訳（メタデータ） (2020-12-15T20:41:24Z) - Differentially Private Synthetic Data: Applied Evaluations and
Enhancements [4.749807065324706]
異なるプライベートデータ合成は、個人の詳細を露出から保護する。
データ合成のための4つの差分私的生成対向ネットワークの評価を行った。
合成データを生成するためのアンサンブルに基づくモデリング手法であるQUAILを提案する。
論文 参考訳（メタデータ） (2020-11-11T04:03:08Z) - GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially
Private Generators [74.16405337436213]
我々は、GS-WGAN(Gradient-sanitized Wasserstein Generative Adrial Networks)を提案する。
GS-WGANは、厳格なプライバシー保証を備えた機密データの衛生的な形式での公開を可能にする。
このアプローチは、複数のメトリクスにわたる最先端のアプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2020-06-15T10:01:01Z) - Data-Free Network Quantization With Adversarial Knowledge Distillation [39.92282726292386]
本稿では,合成データを用いたデータフリーネットワーク量子化について考察する。
合成データはジェネレータから生成されるが、ジェネレータのトレーニングや量子化にはデータを使用しない。
複数のジェネレータと複数の学生を用いて多様な対向サンプルを作成できることを示す。
論文 参考訳（メタデータ） (2020-05-08T16:24:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。