論文の概要: Voting-based Approaches For Differentially Private Federated Learning
- arxiv url: http://arxiv.org/abs/2010.04851v2
- Date: Tue, 16 Feb 2021 00:34:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 06:35:27.954088
- Title: Voting-based Approaches For Differentially Private Federated Learning
- Title(参考訳): 異なる個人的フェデレーション学習のための投票に基づくアプローチ
- Authors: Yuqing Zhu, Xiang Yu, Yi-Hsuan Tsai, Francesco Pittaluga, Masoud
Faraki, Manmohan chandraker and Yu-Xiang Wang
- Abstract要約: この研究はPapernotらによる非フェデレーションプライバシ学習の知識伝達にインスパイアされている。
我々は,各局所モデルから返されるデータラベル間で投票を行うことで,勾配を平均化する代わりに2つの新しいDPFLスキームを設計する。
我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善します。
- 参考スコア(独自算出の注目度): 87.2255217230752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially Private Federated Learning (DPFL) is an emerging field with
many applications. Gradient averaging based DPFL methods require costly
communication rounds and hardly work with large-capacity models, due to the
explicit dimension dependence in its added noise. In this work, inspired by
knowledge transfer non-federated privacy learning from Papernot et al.(2017;
2018), we design two new DPFL schemes, by voting among the data labels returned
from each local model, instead of averaging the gradients, which avoids the
dimension dependence and significantly reduces the communication cost.
Theoretically, by applying secure multi-party computation, we could
exponentially amplify the (data-dependent) privacy guarantees when the margin
of the voting scores are large. Extensive experiments show that our approaches
significantly improve the privacy-utility trade-off over the state-of-the-arts
in DPFL.
- Abstract(参考訳): Differentially Private Federated Learning (DPFL)は、多くのアプリケーションを持つ新興分野である。
勾配平均法に基づくdpfl法はコストのかかる通信ラウンドを必要とし、追加ノイズの明示的な次元依存性のため、大容量モデルでは動作しない。
本研究は,Papernotらによる非フェデレーションプライバシ学習にインスパイアされた。
(2017; 2018)では,次元依存を回避し通信コストを大幅に削減する勾配を平均化する代わりに,各局所モデルから返却したデータラベル間で投票を行うことにより,DPFL方式を2つ設計する。
理論的には、セキュアなマルチパーティ計算を適用することで、投票スコアのマージンが大きい場合に(データに依存しない)プライバシー保証を指数関数的に増幅することができる。
我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善することを示している。
関連論文リスト
- Can Public Large Language Models Help Private Cross-device Federated
Learning? [51.78446908697249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。
提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文 参考訳(メタデータ) (2023-05-20T07:55:58Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss
Approximations [58.192338472631405]
FedLAP-DPは、フェデレーション学習のための新しいプライバシー保護アプローチである。
我々の定式化は、クライアントから受信した合成サンプルを活用することで、グローバルな最適化を可能にします。
プライバシーの懸念が高まりつつある中で、私たちのアプローチがレコードレベルの差分プライバシーとシームレスに機能することを実証しています。
論文 参考訳(メタデータ) (2023-02-02T12:56:46Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Federated Learning with Local Differential Privacy: Trade-offs between
Privacy, Utility, and Communication [22.171647103023773]
フェデレートラーニング(FL)は、分散された構造のため、大量のデータをプライベートにトレーニングすることができる。
SGDを用いたFLモデルにおいて,ユーザデータのローカル差分プライバシー(LDP)を維持するためのガウス的メカニズムを検討する。
その結果,既存のプライバシ会計法と比較して,実用性が大きく,伝送速度も低いことが保証された。
論文 参考訳(メタデータ) (2021-02-09T10:04:18Z) - Hybrid Differentially Private Federated Learning on Vertically
Partitioned Data [41.7896466307821]
垂直統合学習(VFL)のためのDPフレームワークであるHDP-VFLについて述べる。
我々は、VFLの中間結果(IR)が、コミュニケーション中にトレーニングデータのプライベート情報を漏洩させる方法について分析する。
数学的には、我々のアルゴリズムはVFLのユーティリティ保証を提供するだけでなく、マルチレベルプライバシも提供することを証明している。
論文 参考訳(メタデータ) (2020-09-06T16:06:04Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z) - LDP-FL: Practical Private Aggregation in Federated Learning with Local
Differential Privacy [20.95527613004989]
フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。
それまでの作業は3つの問題により現実的な解決には至らなかった。
最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
論文 参考訳(メタデータ) (2020-07-31T01:08:57Z) - D2P-Fed: Differentially Private Federated Learning With Efficient
Communication [78.57321932088182]
本稿では,差分プライバシ(DP)と連立学習(FL)におけるコミュニケーション効率を両立させる統一手法を提案する。
特にD2P-Fedは、両方の面を扱う唯一の先行作業と比較して、より強力なプライバシ保証、より良いコンポーザビリティ、より少ない通信コストを提供します。
その結果、D2P-Fedは通信コストの3分の1を節約しつつ、モデル精度の点で最先端の4.7%から13.0%を上回っていることがわかった。
論文 参考訳(メタデータ) (2020-06-22T06:46:11Z) - FedSel: Federated SGD under Local Differential Privacy with Top-k
Dimension Selection [26.54574385850849]
本研究では,LDP下でのフェデレーションSGDのための2段階フレームワークFedSelを提案する。
具体的には,3つの私的次元選択機構を提案し,蓄積手法を適用し,ノイズのある更新で学習プロセスを安定化させる。
また、FedSelのプライバシー、正確性、時間的複雑さも理論的に分析し、最先端のソリューションよりも優れています。
論文 参考訳(メタデータ) (2020-03-24T03:31:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。