論文の概要: Privacy-preserving Decentralized Aggregation for Federated Learning
- arxiv url: http://arxiv.org/abs/2012.07183v2
- Date: Mon, 28 Dec 2020 23:31:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-09 12:39:06.537066
- Title: Privacy-preserving Decentralized Aggregation for Federated Learning
- Title（参考訳）: 連合学習のためのプライバシ保護型分散アグリゲーション
- Authors: Beomyeol Jeon, S.M. Ferdous, Muntasir Raihan Rahman, Anwar Walid
- Abstract要約: フェデレーション学習は、複数のリージョンにまたがる分散データを学習するための有望なフレームワークである。
我々は,連合学習のためのプライバシ保存型分散集約プロトコルを開発した。
9 と 15 の分散サイトを持つベンチマークデータセットを用いて,画像分類と次単語予測のアルゴリズムの評価を行った。
- 参考スコア（独自算出の注目度）: 3.9323226496740733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a promising framework for learning over decentralized
data spanning multiple regions. This approach avoids expensive central training
data aggregation cost and can improve privacy because distributed sites do not
have to reveal privacy-sensitive data. In this paper, we develop a
privacy-preserving decentralized aggregation protocol for federated learning.
We formulate the distributed aggregation protocol with the Alternating
Direction Method of Multiplier (ADMM) and examine its privacy weakness. Unlike
prior work that use Differential Privacy or homomorphic encryption for privacy,
we develop a protocol that controls communication among participants in each
round of aggregation to minimize privacy leakage. We establish its privacy
guarantee against an honest-but-curious adversary. We also propose an efficient
algorithm to construct such a communication pattern, inspired by combinatorial
block design theory. Our secure aggregation protocol based on this novel group
communication pattern design leads to an efficient algorithm for federated
training with privacy guarantees. We evaluate our federated training algorithm
on image classification and next-word prediction applications over benchmark
datasets with 9 and 15 distributed sites. Evaluation results show that our
algorithm performs comparably to the standard centralized federated learning
method while preserving privacy; the degradation in test accuracy is only up to
0.73%.
- Abstract（参考訳）: フェデレーション学習は、複数のリージョンにまたがる分散データを学習するための有望なフレームワークである。
このアプローチは、高価な集中トレーニングデータ集約コストを回避し、分散サイトがプライバシに敏感なデータを公開する必要がないため、プライバシを改善する。
本稿では,フェデレーション学習のためのプライバシ保護型分散集約プロトコルを開発する。
分散アグリゲーションプロトコルをALMM(Alternating Direction Method of Multiplier)で定式化し、そのプライバシーの弱点について検討する。
プライバシに差分プライバシーや準同型暗号を使用する先行業務とは異なり,各ラウンドの参加者間のコミュニケーションを制御し,プライバシリークを最小限に抑えるプロトコルを開発した。
正直な反逆者に対するプライバシーの保証を確立します。
また,コンビネートブロック設計理論に触発された通信パターンを構築するための効率的なアルゴリズムを提案する。
この新たなグループ通信パターン設計に基づくセキュアアグリゲーションプロトコルは,プライバシ保証付きフェデレーショントレーニングの効率的なアルゴリズムを実現する。
画像分類と次単語予測に関するフェデレーショントレーニングアルゴリズムを,9～15の分散サイトを用いたベンチマークデータセット上で評価した。
評価の結果,プライバシを保ちながら,標準集中型フェデレーション学習法と互換性があり,テスト精度の劣化は0.73%に過ぎなかった。
関連論文リスト
- Differentially Private Decentralized Learning with Random Walks [15.862152253607496]
ランダムウォークアルゴリズムを用いて分散学習のプライバシー保証を特徴付ける。そこでは、あるノードから別のノードへ通信グラフのエッジに沿って移動することで、モデルを更新する。
その結果、ランダムウォークアルゴリズムは、互いに近接するノードに対するゴシップアルゴリズムよりも、より優れたプライバシ保証をもたらす傾向があることが明らかとなった。
論文 参考訳（メタデータ） (2024-02-12T08:16:58Z) - Generalizing Differentially Private Decentralized Deep Learning with Multi-Agent Consensus [11.414398732656839]
本稿では,分散ディープラーニングに差分プライバシーを組み込んだフレームワークを提案する。
本稿では,このフレームワークから派生したアルゴリズムの収束保証を証明し,その実用性を示す。
論文 参考訳（メタデータ） (2023-06-24T07:46:00Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - Preserving Privacy in Federated Learning with Ensemble Cross-Domain
Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。
既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。
我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文 参考訳（メタデータ） (2022-09-10T05:20:31Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳（メタデータ） (2022-07-19T05:47:30Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳（メタデータ） (2022-05-08T14:38:23Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z) - Efficient Sparse Secure Aggregation for Federated Learning [0.20052993723676896]
我々は,圧縮に基づくフェデレーション手法を付加的な秘密共有に適用し,効率的なセキュアなアグリゲーションプロトコルを実現する。
悪意のある敵に対するプライバシーの証明と、半正直な設定でその正しさを証明します。
セキュアアグリゲーションに関する従来の研究と比較すると、我々のプロトコルは通信コストが低く、同じ精度で適用可能なコストがかかる。
論文 参考訳（メタデータ） (2020-07-29T14:28:30Z) - FedOCR: Communication-Efficient Federated Learning for Scene Text
Recognition [76.26472513160425]
本研究では、分散化されたデータセットを用いて、ロバストなシーンテキスト認識器を訓練する方法について研究する。
FedOCRをエンドデバイスにデプロイするのに適したものにするために、軽量モデルとハッシュ技術の使用を含む2つの改善を行った。
論文 参考訳（メタデータ） (2020-07-22T14:30:50Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳（メタデータ） (2020-07-10T18:15:10Z) - Privacy-preserving Traffic Flow Prediction: A Federated Learning
Approach [61.64006416975458]
本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。
FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。
FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
論文 参考訳（メタデータ） (2020-03-19T13:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。