論文の概要: Federated Model Distillation with Noise-Free Differential Privacy

• arxiv url: http://arxiv.org/abs/2009.05537v2
• Date: Fri, 21 May 2021 11:16:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 21:16:36.714850
• Title: Federated Model Distillation with Noise-Free Differential Privacy
• Title（参考訳）: ノイズフリー微分プライバシーを用いたフェデレーションモデル蒸留
• Authors: Lichao Sun, Lingjuan Lyu
• Abstract要約: 我々はFEDMD-NFDPと呼ばれる新しいフレームワークを提案し、このフレームワークはFEDMD-NFDP機構をフェデレートされたモデル蒸留フレームワークに適用する。 FEDMD-NFDPが同等のユーティリティと通信効率を提供できることを示す。
• 参考スコア（独自算出の注目度）: 35.72801867380072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional federated learning directly averages model weights, which is only possible for collaboration between models with homogeneous architectures. Sharing prediction instead of weight removes this obstacle and eliminates the risk of white-box inference attacks in conventional federated learning. However, the predictions from local models are sensitive and would leak training data privacy to the public. To address this issue, one naive approach is adding the differentially private random noise to the predictions, which however brings a substantial trade-off between privacy budget and model performance. In this paper, we propose a novel framework called FEDMD-NFDP, which applies a Noise-Free Differential Privacy (NFDP) mechanism into a federated model distillation framework. Our extensive experimental results on various datasets validate that FEDMD-NFDP can deliver not only comparable utility and communication efficiency but also provide a noise-free differential privacy guarantee. We also demonstrate the feasibility of our FEDMD-NFDP by considering both IID and non-IID setting, heterogeneous model architectures, and unlabelled public datasets from a different distribution.
• Abstract（参考訳）: 従来の連合学習はモデル重みを直接平均するが、これは均質なアーキテクチャを持つモデル間のコラボレーションでのみ可能である。 重みの代わりに予測を共有することは、この障害を取り除き、従来の連合学習におけるホワイトボックス推論攻撃のリスクを取り除く。 しかし、ローカルモデルからの予測はセンシティブであり、トレーニングデータのプライバシを一般にリークする。 この問題に対処するためには、偏ったプライベートなランダムノイズを予測に追加し、しかしながら、プライバシ予算とモデルパフォーマンスの間に大きなトレードオフをもたらします。 本稿では,federated model distillation frameworkにノイズフリー微分プライバシー(nfdp)機構を適用するfedmd-nfdpと呼ばれる新しいフレームワークを提案する。 FEDMD-NFDPが同等のユーティリティと通信効率を提供するだけでなく、ノイズフリーの差分プライバシー保証を提供することを示す。 また、IDおよび非IID設定、異種モデルアーキテクチャ、および異なる分布からの非ラップ付きパブリックデータセットを考慮し、FEDMD-NFDPの実現可能性を示す。

関連論文リスト

• Noise-Aware Differentially Private Variational Inference [5.4619385369457225]
  差分プライバシー(DP)は統計的推測に対して堅牢なプライバシー保証を提供するが、これは下流アプリケーションにおいて信頼性の低い結果とバイアスをもたらす可能性がある。 勾配変動推定に基づく雑音を考慮した近似ベイズ推定法を提案する。 また,より正確な雑音認識後部評価手法を提案する。
  論文  参考訳（メタデータ） (2024-10-25T08:18:49Z)
• CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。 また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
  論文  参考訳（メタデータ） (2024-09-20T00:23:44Z)
• Federated Causal Discovery from Heterogeneous Data [70.31070224690399]
  任意の因果モデルと異種データに対応する新しいFCD法を提案する。 これらのアプローチには、データのプライバシを保護するために、生データのプロキシとして要約統計を構築することが含まれる。 提案手法の有効性を示すために, 合成および実データを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-02-20T18:53:53Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Differentially private partitioned variational inference [28.96767727430277]
  複数のデバイスに分散している機密データから、プライバシ保護モデルを学ぶことは、ますます重要な問題である。 ベイズ分布に対する変分近似を学習するための最初の一般フレームワークである差分分割変分推論について述べる。
  論文  参考訳（メタデータ） (2022-09-23T13:58:40Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。