Fugu-MT 論文翻訳(概要): Federated Deep Learning with Bayesian Privacy

論文の概要: Federated Deep Learning with Bayesian Privacy

arxiv url: http://arxiv.org/abs/2109.13012v1
Date: Mon, 27 Sep 2021 12:48:40 GMT
ステータス: 処理完了
システム内更新日: 2021-09-28 15:44:25.028766
Title: Federated Deep Learning with Bayesian Privacy
Title（参考訳）: ベイジアンプライバシによる深層学習のフェデレーション
Authors: Hanlin Gu, Lixin Fan, Bowen Li, Yan Kang, Yuan Yao and Qiang Yang
Abstract要約: フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
参考スコア（独自算出の注目度）: 28.99404058773532
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated learning (FL) aims to protect data privacy by cooperatively learning a model without sharing private data among users. For Federated Learning of Deep Neural Network with billions of model parameters, existing privacy-preserving solutions are unsatisfactory. Homomorphic encryption (HE) based methods provide secure privacy protections but suffer from extremely high computational and communication overheads rendering it almost useless in practice . Deep learning with Differential Privacy (DP) was implemented as a practical learning algorithm at a manageable cost in complexity. However, DP is vulnerable to aggressive Bayesian restoration attacks as disclosed in the literature and demonstrated in experimental results of this work. To address the aforementioned perplexity, we propose a novel Bayesian Privacy (BP) framework which enables Bayesian restoration attacks to be formulated as the probability of reconstructing private data from observed public information. Specifically, the proposed BP framework accurately quantifies privacy loss by Kullback-Leibler (KL) Divergence between the prior distribution about the privacy data and the posterior distribution of restoration private data conditioning on exposed information}. To our best knowledge, this Bayesian Privacy analysis is the first to provides theoretical justification of secure privacy-preserving capabilities against Bayesian restoration attacks. As a concrete use case, we demonstrate that a novel federated deep learning method using private passport layers is able to simultaneously achieve high model performance, privacy-preserving capability and low computational complexity. Theoretical analysis is in accordance with empirical measurements of information leakage extensively experimented with a variety of DNN networks on image classification MNIST, CIFAR10, and CIFAR100 datasets.
Abstract（参考訳）: federated learning(fl)は,プライベートデータをユーザ間で共有することなく,モデルを協調的に学習することで,データのプライバシを保護することを目的とする。何十億ものモデルパラメータを持つディープニューラルネットワークのフェデレートラーニングでは、既存のプライバシ保護ソリューションは満足できない。準同型暗号化(he)ベースの手法はセキュアなプライバシー保護を提供するが、計算と通信のオーバーヘッドが極めて高く、実際にはほとんど役に立たない。差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。しかし,本研究は,本研究の成果を実証し,本研究の文献に示すように,攻撃的ベイズ修復攻撃に対して脆弱である。以上の問題に対処するために,ベイズ修復攻撃を,観察された公開情報から個人データを再構築する確率として定式化する,ベイズプライバシ(bp)フレームワークを提案する。特に,提案するbpフレームワークは,kllback-leibler (kl) によるプライバシ損失を正確に定量化する。私たちの知る限り、ベイジアンプライバシー分析は、ベイジアン復元攻撃に対する安全なプライバシー保護機能を理論的に正当化する最初のものである。具体的なユースケースとして,プライベートパスポート層を用いた新しい連合型ディープラーニング手法が,高いモデル性能,プライバシ保存能力,計算複雑性を同時に達成できることを実証する。理論的解析は、画像分類MNIST、CIFAR10、CIFAR100データセットにおいて、様々なDNNネットワークで広範囲に実験された情報漏洩の実験的測定に従っている。

関連論文リスト

Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文参考訳（メタデータ） (2024-11-04T21:27:06Z)
Investigating Privacy Attacks in the Gray-Box Setting to Enhance Collaborative Learning Schemes [7.651569149118461]
我々は、攻撃者がモデルに限られたアクセスしかできないグレーボックス設定でプライバシ攻撃を研究する。 SmartNNCryptは、同型暗号化を調整して、より高いプライバシーリスクを示すモデルの部分を保護するフレームワークです。
論文参考訳（メタデータ） (2024-09-25T18:49:21Z)
Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文参考訳（メタデータ） (2023-10-31T16:13:22Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2022-09-16T09:58:03Z)
Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文参考訳（メタデータ） (2022-07-19T05:47:30Z)
Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文参考訳（メタデータ） (2021-06-25T14:47:19Z)
PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2021-06-08T18:00:01Z)
Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文参考訳（メタデータ） (2020-12-14T18:59:24Z)
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks [31.34410250008759]
本稿では、モデル精度と、再構築、追跡、およびメンバーシップ攻撃によるプライバシ損失とのトレードオフを計測する。実験の結果,モデル精度はベースライン機構と比較して平均5～20%向上した。
論文参考訳（メタデータ） (2020-06-20T15:48:57Z)
SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文参考訳（メタデータ） (2020-06-16T19:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。