論文の概要: Privacy-Preserving Model Transcription with Differentially Private Synthetic Distillation
- arxiv url: http://arxiv.org/abs/2601.19090v1
- Date: Tue, 27 Jan 2026 01:51:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-28 15:26:51.12095
- Title: Privacy-Preserving Model Transcription with Differentially Private Synthetic Distillation
- Title（参考訳）: 差分プライベートな合成蒸留によるプライバシ保存モデル転写
- Authors: Bochao Liu, Shiming Ge, Pengju Wang, Shikun Li, Tongliang Liu,
- Abstract要約: プライベートデータセットでトレーニングされたディープラーニングモデルは、プライバシー漏洩のリスクを引き起こす可能性がある。
本稿では,データフリーモデル-モデル変換ソリューションであるエンフェプライシ保存モデル転写について述べる。
- 参考スコア（独自算出の注目度）: 67.76456940243294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While many deep learning models trained on private datasets have been deployed in various practical tasks, they may pose a privacy leakage risk as attackers could recover informative data or label knowledge from models. In this work, we present \emph{privacy-preserving model transcription}, a data-free model-to-model conversion solution to facilitate model deployment with a privacy guarantee. To this end, we propose a cooperative-competitive learning approach termed \emph{differentially private synthetic distillation} that learns to convert a pretrained model (teacher) into its privacy-preserving counterpart (student) via a trainable generator without access to private data. The learning collaborates with three players in a unified framework and performs alternate optimization: i)~the generator is learned to generate synthetic data, ii)~the teacher and student accept the synthetic data and compute differential private labels by flexible data or label noisy perturbation, and iii)~the student is updated with noisy labels and the generator is updated by taking the student as a discriminator for adversarial training. We theoretically prove that our approach can guarantee differential privacy and convergence. The transcribed student has good performance and privacy protection, while the resulting generator can generate private synthetic data for downstream tasks. Extensive experiments clearly demonstrate that our approach outperforms 26 state-of-the-arts.
- Abstract（参考訳）: プライベートデータセットでトレーニングされた多くのディープラーニングモデルは、さまざまな実践的なタスクにデプロイされているが、攻撃者が情報的データを回復したり、モデルから知識をラベル付けしたりする可能性があるため、プライバシリークのリスクが生じる可能性がある。
本研究では,プライバシ保証付きモデル展開を容易にするデータフリーモデル-モデル変換ソリューションである,emph{privacy-preserving model transcription}を提案する。
そこで本研究では,事前学習したモデル(教師)を,プライベートデータにアクセスせずにトレーニング可能なジェネレータ(学生)を介して,そのプライバシ保護モデル(学生)に変換することを学習する,emph{differentially private synthetic distillation} と呼ばれる協調競争型学習手法を提案する。
学習は3人のプレイヤーと統合されたフレームワークで協調し、代替最適化を行う。
i) ジェネレータは合成データを生成するために学習される。
二 教師及び学生が合成データを受け取り、フレキシブルデータ又はラベルノイズの摂動により差分私ラベルを計算すること。
iii)〜生徒をノイズラベルで更新し、反対訓練用判別器として利用することにより、ジェネレータを更新する。
理論的には、我々のアプローチが差分プライバシーと収束を保証できることを証明します。
書き起こされた学生は、優れたパフォーマンスとプライバシ保護を持ち、結果として生成されたジェネレータは、下流タスクのためのプライベートな合成データを生成することができる。
大規模な実験により,本手法が26種類の最先端技術を上回っていることが明らかとなった。
関連論文リスト
- Learning More with Less: A Generalizable, Self-Supervised Framework for Privacy-Preserving Capacity Estimation with EV Charging Data [84.37348569981307]
自己教師付き事前学習に基づく第一種能力推定モデルを提案する。
我々のモデルは一貫して最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2025-10-05T08:58:35Z) - Privacy-Preserving Student Learning with Differentially Private Data-Free Distillation [35.37005050907983]
プライバシーを保護したディープラーニングモデルを学習するための効果的な教師学生学習手法を提案する。
データプライバシを公開することなく、モデルトレーニングのために大量の合成データを生成することができる。
学生は、プライベートレーベルの監督の下で、合成データに基づいて訓練される。
論文 参考訳（メタデータ） (2024-09-19T01:00:18Z) - Learning Privacy-Preserving Student Networks via Discriminative-Generative Distillation [24.868697898254368]
ディープモデルは、実用デプロイメントにおいてプライバシー漏洩のリスクを引き起こす可能性がある。
本稿では,プライバシー保護深層モデル学習のための識別・生成蒸留手法を提案する。
提案手法は,プライベートデータに対するクエリコストと精度の低下を統一的に制御できる。
論文 参考訳（メタデータ） (2024-09-04T03:06:13Z) - FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。
FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。
本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
論文 参考訳（メタデータ） (2024-03-10T08:41:22Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳（メタデータ） (2023-12-10T07:38:56Z) - Differentially Private Synthetic Data Generation via
Lipschitz-Regularised Variational Autoencoders [3.7463972693041274]
生成モデルが個々のトレーニング記録の多くの詳細を記憶する傾向があることは、しばしば見落とされがちである。
本稿では,生成モデルにおける本質を直接活用するデータ生成手法について検討する。
論文 参考訳（メタデータ） (2023-04-22T07:24:56Z) - ConfounderGAN: Protecting Image Data Privacy with Causal Confounder [85.6757153033139]
本稿では,GAN(Generative Adversarial Network)のConfounderGANを提案する。
実験は、3つの自然なオブジェクトデータセットと3つの医療データセットからなる6つの画像分類データセットで実施される。
論文 参考訳（メタデータ） (2022-12-04T08:49:14Z) - Privacy-preserving Generative Framework Against Membership Inference
Attacks [10.791983671720882]
我々は、メンバーシップ推論攻撃に対するプライバシー保護のための生成フレームワークを設計する。
まず、VAEモデルを通してソースデータを潜時空間にマッピングして潜時符号を取得し、次に潜時符号上でメートル法プライバシーを満たすノイズ処理を行い、最終的にVAEモデルを用いて合成データを再構成する。
実験により、新たに生成した合成データを用いて学習した機械学習モデルは、メンバーシップ推論攻撃に効果的に抵抗でき、高いユーティリティを維持できることを示した。
論文 参考訳（メタデータ） (2022-02-11T06:13:30Z) - Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。
このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。
過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。
本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
論文 参考訳（メタデータ） (2020-03-01T15:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。