論文の概要: FedREP: A Byzantine-Robust, Communication-Efficient and
Privacy-Preserving Framework for Federated Learning
- arxiv url: http://arxiv.org/abs/2303.05206v1
- Date: Thu, 9 Mar 2023 12:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 14:58:07.359485
- Title: FedREP: A Byzantine-Robust, Communication-Efficient and
Privacy-Preserving Framework for Federated Learning
- Title（参考訳）: FedREP:フェデレートラーニングのためのビザンチン・ロバスト・コミュニケーション効率・プライバシー保護フレームワーク
- Authors: Yi-Rui Yang, Kun Wang, Wu-Jun Li
- Abstract要約: フェデレーテッド・ラーニング(FL)は、ビザンチンの堅牢性、通信効率、プライバシー保護が重要な側面である、近年ホットな研究トピックとなっている。
本稿では,通信圧縮手法が既存のビザンチン汚染法やプライバシ保護法と互換性を持つように満たすべき条件を理論的に分析する。
本稿では,ビザンチン・ロバスト,通信効率,プライバシ保護といった新しいFLフレームワークであるFedREPを提案する。
- 参考スコア（独自算出の注目度）: 30.724869587601848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has recently become a hot research topic, in which
Byzantine robustness, communication efficiency and privacy preservation are
three important aspects. However, the tension among these three aspects makes
it hard to simultaneously take all of them into account. In view of this
challenge, we theoretically analyze the conditions that a communication
compression method should satisfy to be compatible with existing
Byzantine-robust methods and privacy-preserving methods. Motivated by the
analysis results, we propose a novel communication compression method called
consensus sparsification (ConSpar). To the best of our knowledge, ConSpar is
the first communication compression method that is designed to be compatible
with both Byzantine-robust methods and privacy-preserving methods. Based on
ConSpar, we further propose a novel FL framework called FedREP, which is
Byzantine-robust, communication-efficient and privacy-preserving. We
theoretically prove the Byzantine robustness and the convergence of FedREP.
Empirical results show that FedREP can significantly outperform
communication-efficient privacy-preserving baselines. Furthermore, compared
with Byzantine-robust communication-efficient baselines, FedREP can achieve
comparable accuracy with the extra advantage of privacy preservation.
- Abstract（参考訳）: フェデレーション学習(fl)は近年,ビザンチンの堅牢性,通信効率,プライバシ保護の3つの重要な側面を持つ,ホットな研究テーマとなっている。
しかし、これら3つの側面の緊張は、それらすべてを同時に考慮することは困難である。
この課題を踏まえ,既存のビザンチン汚染法やプライバシ保護法と互換性のある通信圧縮手法が満足すべき条件を理論的に分析する。
分析結果に動機づけられ,コンセンサススパーシフィケーション(conspar)と呼ばれる新しいコミュニケーション圧縮手法を提案する。
私たちの知る限りでは、ConSparはByzantine-robustメソッドとプライバシ保護メソッドの両方と互換性を持つように設計された最初の通信圧縮方法です。
consparに基づき、さらに、ビザンチン・ロバストで通信効率が高く、プライバシを保存できるfeedrepと呼ばれる新しいflフレームワークを提案する。
理論的には、ビザンチンの堅牢性とFedREPの収束性を証明する。
実証的な結果は、FedREPが通信効率のよいプライバシー保護ベースラインを大幅に上回っていることを示している。
さらに、Byzantine-robust通信効率の高いベースラインと比較して、FedREPはプライバシー保護のさらなる利点によって同等の精度を達成できる。
関連論文リスト
- Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。
ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
論文 参考訳（メタデータ） (2024-08-28T08:22:21Z) - LoByITFL: Low Communication Secure and Private Federated Learning [4.242342898338019]
フェデレートラーニング(FL)は、クライアントデータのプライバシやビザンティンクライアントに対するセキュリティなど、いくつかの課題に直面している。
本稿では,最初の通信効率の高い情報理論(IT)のプライベートかつセキュアなFLスキームであるLoByITFLを紹介する。
論文 参考訳（メタデータ） (2024-05-29T16:00:19Z) - TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳（メタデータ） (2024-02-16T16:41:14Z) - On the Tradeoff between Privacy Preservation and Byzantine-Robustness in Decentralized Learning [27.06136955053105]
分散化されたネットワークでは、誠実だが信頼できるエージェントが所定のアルゴリズムを忠実に従うが、学習プロセス中に受信したメッセージから隣人のプライベートデータを推測することを期待している。
分散化されたネットワークでは、不正かつビザンチンなエージェントは所定のアルゴリズムに反し、学習プロセスに偏りがあるように、隣人に意図的に誤ったメッセージを広める。
論文 参考訳（メタデータ） (2023-08-28T14:20:53Z) - Practical Differentially Private and Byzantine-resilient Federated
Learning [17.237219486602097]
我々は、プライバシーを守るために、微分プライベート勾配降下法(DP-SGD)アルゴリズムを用いている。
ランダムノイズを利用して、既存のビザンツ攻撃の多くを効果的に拒否するアグリゲーションを構築する。
論文 参考訳（メタデータ） (2023-04-15T23:30:26Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳（メタデータ） (2023-02-19T16:58:53Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳（メタデータ） (2022-07-19T05:47:30Z) - Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker
Assumptions and Communication Compression as a Cherry on the Top [10.579228752210168]
ビザンチン・ロバスト性は、協調的で耐性のある学習への関心から、多くの注目を集めている。
Byz-VRMARINAは、ロバストネスと通信圧縮に対する新しいビザンチンのアプローチである。
勾配を持つビザンチン・ロバスト法とは異なり、この結果は厳密であり、有界性や限定圧縮のような制限的な仮定に依存しない。
論文 参考訳（メタデータ） (2022-06-01T14:40:29Z) - Byzantine-Robust Federated Learning with Optimal Statistical Rates and
Privacy Guarantees [123.0401978870009]
ほぼ最適な統計率を持つビザンチン・ロバスト・フェデレーション学習プロトコルを提案する。
競合プロトコルに対してベンチマークを行い、提案プロトコルの実証的な優位性を示す。
我々のバケットプロトコルは、プライバシー保証手順と自然に組み合わせて、半正直なサーバに対するセキュリティを導入することができる。
論文 参考訳（メタデータ） (2022-05-24T04:03:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。