論文の概要: LDP-FL: Practical Private Aggregation in Federated Learning with Local
Differential Privacy
- arxiv url: http://arxiv.org/abs/2007.15789v2
- Date: Fri, 21 May 2021 11:24:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 07:15:36.507093
- Title: LDP-FL: Practical Private Aggregation in Federated Learning with Local
Differential Privacy
- Title（参考訳）: ldp-fl:ローカルディファレンシャルプライバシを持つフェデレーション学習における実践的プライベートアグリゲーション
- Authors: Lichao Sun, Jianwei Qian, Xun Chen
- Abstract要約: フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。
それまでの作業は3つの問題により現実的な解決には至らなかった。
最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
- 参考スコア（独自算出の注目度）: 20.95527613004989
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Train machine learning models on sensitive user data has raised increasing
privacy concerns in many areas. Federated learning is a popular approach for
privacy protection that collects the local gradient information instead of real
data. One way to achieve a strict privacy guarantee is to apply local
differential privacy into federated learning. However, previous works do not
give a practical solution due to three issues. First, the noisy data is close
to its original value with high probability, increasing the risk of information
exposure. Second, a large variance is introduced to the estimated average,
causing poor accuracy. Last, the privacy budget explodes due to the high
dimensionality of weights in deep learning models. In this paper, we proposed a
novel design of local differential privacy mechanism for federated learning to
address the abovementioned issues. It is capable of making the data more
distinct from its original value and introducing lower variance. Moreover, the
proposed mechanism bypasses the curse of dimensionality by splitting and
shuffling model updates. A series of empirical evaluations on three commonly
used datasets, MNIST, Fashion-MNIST and CIFAR-10, demonstrate that our solution
can not only achieve superior deep learning performance but also provide a
strong privacy guarantee at the same time.
- Abstract（参考訳）: センシティブなユーザデータによる機械学習モデルのトレーニングは、多くの領域でプライバシの懸念が高まっている。
フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。
厳格なプライバシー保証を達成する一つの方法は、ローカルな差分プライバシーを連邦学習に適用することである。
しかし,3つの問題から,先行研究は実用的解決には至っていない。
第1に、ノイズのあるデータは、元の値に近い確率で、情報露出のリスクを増大させる。
第2に、推定平均に対して大きなばらつきが生じ、精度が低下する。
最後に、ディープラーニングモデルにおける重みの高次元性によって、プライバシ予算が爆発する。
本稿では,これらの課題に対処するフェデレーション学習のための局所微分プライバシー機構の設計を提案する。
データを元の値とより区別しやすくし、分散度を低くすることができる。
さらに,モデル更新を分割しシャッフルすることで,次元の呪いを回避できる機構が提案されている。
MNIST、Fashion-MNIST、CIFAR-10の3つの一般的なデータセットに対する実験的な評価は、私たちのソリューションが優れたディープラーニング性能を達成するだけでなく、強力なプライバシ保証も同時に実現可能であることを実証している。
関連論文リスト
- Federated Transfer Learning with Differential Privacy [21.50525027559563]
我々は、信頼された中央サーバを仮定することなく、各データセットに対するプライバシー保証を提供する、テキストフェデレーションによる差分プライバシーの概念を定式化する。
フェデレートされた差分プライバシは、確立されたローカルと中央の差分プライバシモデルの間の中間プライバシモデルであることを示す。
論文 参考訳（メタデータ） (2024-03-17T21:04:48Z) - FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。
FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。
本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
論文 参考訳（メタデータ） (2024-03-10T08:41:22Z) - Share Your Representation Only: Guaranteed Improvement of the
Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。
本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。
同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
論文 参考訳（メタデータ） (2023-09-11T14:46:55Z) - Differentially private partitioned variational inference [28.96767727430277]
複数のデバイスに分散している機密データから、プライバシ保護モデルを学ぶことは、ますます重要な問題である。
ベイズ分布に対する変分近似を学習するための最初の一般フレームワークである差分分割変分推論について述べる。
論文 参考訳（メタデータ） (2022-09-23T13:58:40Z) - Privacy-Preserving Distributed Expectation Maximization for Gaussian
Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。
我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。
数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-09-16T09:58:03Z) - Mixed Differential Privacy in Computer Vision [133.68363478737058]
AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。
プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
論文 参考訳（メタデータ） (2022-03-22T06:15:43Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳（メタデータ） (2021-11-01T18:10:21Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Compression Boosts Differentially Private Federated Learning [0.7742297876120562]
フェデレートされた学習により、分散エンティティは、自身のデータを共有することなく、共通のモデルを協調的にトレーニングできる。
悪意のあるエンティティが、捕獲された勾配から参加者のトレーニングデータに関するプライベート情報を学ぶことができるような、さまざまな推論や再構築攻撃に対して脆弱なままである。
本稿では,2つのデータセットを用いて,従来の非私的フェデレート学習方式と比較して,通信コストを最大95%削減できることを示す。
論文 参考訳（メタデータ） (2020-11-10T13:11:03Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。