論文の概要: Practical Differentially Private and Byzantine-resilient Federated
Learning
- arxiv url: http://arxiv.org/abs/2304.09762v1
- Date: Sat, 15 Apr 2023 23:30:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 13:44:29.601663
- Title: Practical Differentially Private and Byzantine-resilient Federated
Learning
- Title（参考訳）: 実践的差分的・ビザンチン耐性フェデレート学習
- Authors: Zihang Xiang, Tianhao Wang, Wanyu Lin, Di Wang
- Abstract要約: 我々は、プライバシーを守るために、微分プライベート勾配降下法(DP-SGD)アルゴリズムを用いている。
ランダムノイズを利用して、既存のビザンツ攻撃の多くを効果的に拒否するアグリゲーションを構築する。
- 参考スコア（独自算出の注目度）: 17.237219486602097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy and Byzantine resilience are two indispensable requirements for a
federated learning (FL) system. Although there have been extensive studies on
privacy and Byzantine security in their own track, solutions that consider both
remain sparse. This is due to difficulties in reconciling privacy-preserving
and Byzantine-resilient algorithms.
In this work, we propose a solution to such a two-fold issue. We use our
version of differentially private stochastic gradient descent (DP-SGD)
algorithm to preserve privacy and then apply our Byzantine-resilient
algorithms. We note that while existing works follow this general approach, an
in-depth analysis on the interplay between DP and Byzantine resilience has been
ignored, leading to unsatisfactory performance. Specifically, for the random
noise introduced by DP, previous works strive to reduce its impact on the
Byzantine aggregation. In contrast, we leverage the random noise to construct
an aggregation that effectively rejects many existing Byzantine attacks.
We provide both theoretical proof and empirical experiments to show our
protocol is effective: retaining high accuracy while preserving the DP
guarantee and Byzantine resilience. Compared with the previous work, our
protocol 1) achieves significantly higher accuracy even in a high privacy
regime; 2) works well even when up to 90% of distributive workers are
Byzantine.
- Abstract（参考訳）: プライバシーとビザンチンのレジリエンスは、連邦学習(FL)システムに必要な2つの要件である。
プライバシとビザンチンのセキュリティに関する広範な研究は自社で行われているが、どちらも疎外されている。
これはプライバシー保護とビザンチン耐性アルゴリズムの整合が難しいためである。
本研究では,このような2つの問題に対する解決法を提案する。
我々は,DP-SGDアルゴリズムを用いて,プライバシーを保護し,ビザンチン耐性アルゴリズムを適用した。
既存の研究はこの一般的なアプローチに従っているが、DPとビザンチンのレジリエンスの相互作用に関する詳細な分析は無視されており、不満足な性能をもたらす。
具体的には、DPが導入したランダムノイズに対して、以前の研究はビザンツの集合に対する影響を減らそうとしている。
対照的に、既存のビザンチン攻撃を効果的に拒否するアグリゲーションを構築するためにランダムノイズを利用する。
我々は,DP保証とビザンチンレジリエンスを維持しながら高い精度を維持しながら,我々のプロトコルが有効であることを示す理論的証明と実証実験の両方を提供する。
前回の仕事と比較すると プロトコルは
1) 高いプライバシー体制においても極めて高い精度を達成する。
2) 分配労働者の90%がビザンチンである場合でも、うまく機能する。
関連論文リスト
- Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。
ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
論文 参考訳（メタデータ） (2024-08-28T08:22:21Z) - TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳（メタデータ） (2024-02-16T16:41:14Z) - Byzantine-Robust Federated Learning with Variance Reduction and
Differential Privacy [6.343100139647636]
フェデレートラーニング(FL)は、モデルトレーニング中にデータのプライバシを保存するように設計されている。
FLはプライバシー攻撃やビザンツ攻撃に弱い。
本稿では,厳格なプライバシを保証するとともに,ビザンチン攻撃に対するシステムの堅牢性を同時に向上する新しいFLスキームを提案する。
論文 参考訳（メタデータ） (2023-09-07T01:39:02Z) - On the Tradeoff between Privacy Preservation and Byzantine-Robustness in Decentralized Learning [27.06136955053105]
分散化されたネットワークでは、誠実だが信頼できるエージェントが所定のアルゴリズムを忠実に従うが、学習プロセス中に受信したメッセージから隣人のプライベートデータを推測することを期待している。
分散化されたネットワークでは、不正かつビザンチンなエージェントは所定のアルゴリズムに反し、学習プロセスに偏りがあるように、隣人に意図的に誤ったメッセージを広める。
論文 参考訳（メタデータ） (2023-08-28T14:20:53Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳（メタデータ） (2022-06-01T00:44:53Z) - Bridging Differential Privacy and Byzantine-Robustness via Model
Aggregation [27.518542543750367]
本稿では,差分プライバシーとビザンチネロバストネスという,連邦学習における対立する問題に対処することを目的とする。
標準メカニズムは送信DP、エンベロップスエンベロップスエンベロップスエンベロープ(エンベロップスエンベロープ、エンベロープエンベロープアグリゲーション)を追加し、ビザンツ攻撃を防御する。
提案手法の影響は, その頑健なモデルアグリゲーションによって抑制されていることを示す。
論文 参考訳（メタデータ） (2022-04-29T23:37:46Z) - Combining Differential Privacy and Byzantine Resilience in Distributed
SGD [9.14589517827682]
本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。
特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
論文 参考訳（メタデータ） (2021-10-08T09:23:03Z) - Differential Privacy and Byzantine Resilience in SGD: Do They Add Up? [6.614755043607777]
本研究では,差分プライバシ(DP)と$(alpha,f)$-ビザンチンレジリエンスを併用して,SGD(Gradient Descent)学習アルゴリズムの分散実装が実現可能であるかを検討する。
これらの手法の直接的な構成は、結果のSGDアルゴリズムがMLモデルのパラメータ数に依存することを保証していることを示す。
論文 参考訳（メタデータ） (2021-02-16T14:10:38Z) - Learning from History for Byzantine Robust Optimization [52.68913869776858]
分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。
既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
論文 参考訳（メタデータ） (2020-12-18T16:22:32Z) - Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with
Latent Confounders [62.54431888432302]
無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。
我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
論文 参考訳（メタデータ） (2020-07-27T22:19:01Z) - Federated Variance-Reduced Stochastic Gradient Descent with Robustness
to Byzantine Attacks [74.36161581953658]
本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。
このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。
本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
論文 参考訳（メタデータ） (2019-12-29T19:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。