論文の概要: SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression

• arxiv url: http://arxiv.org/abs/2206.09888v1
• Date: Mon, 20 Jun 2022 16:47:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 19:56:34.270878
• Title: SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression
• Title（参考訳）: SoteriaFL: コミュニケーション圧縮によるプライベートフェデレーション学習のための統一フレームワーク
• Authors: Zhize Li, Haoyu Zhao, Boyue Li, Yuejie Chi
• Abstract要約: 本稿では,コミュニケーション圧縮によるプライベート・フェデレーション学習のコミュニケーション効率を向上させる統一フレームワークを提案する。 プライバシ、ユーティリティ、通信の複雑さの観点から、パフォーマンストレードオフを包括的に評価する。
• 参考スコア（独自算出の注目度）: 40.646108010388986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To enable large-scale machine learning in bandwidth-hungry environments such as wireless networks, significant progress has been made recently in designing communication-efficient federated learning algorithms with the aid of communication compression. On the other end, privacy-preserving, especially at the client level, is another important desideratum that has not been addressed simultaneously in the presence of advanced communication compression techniques yet. In this paper, we propose a unified framework that enhances the communication efficiency of private federated learning with communication compression. Exploiting both general compression operators and local differential privacy, we first examine a simple algorithm that applies compression directly to differentially-private stochastic gradient descent, and identify its limitations. We then propose a unified framework SoteriaFL for private federated learning, which accommodates a general family of local gradient estimators including popular stochastic variance-reduced gradient methods and the state-of-the-art shifted compression scheme. We provide a comprehensive characterization of its performance trade-offs in terms of privacy, utility, and communication complexity, where SoteraFL is shown to achieve better communication complexity without sacrificing privacy nor utility than other private federated learning algorithms without communication compression.
• Abstract（参考訳）: 無線ネットワークなどの帯域幅制限環境下での大規模機械学習を実現するため,通信圧縮による通信効率のよいフェデレーション学習アルゴリズムの設計において,近年大きな進歩を遂げている。 一方、特にクライアントレベルでのプライバシ保護は、高度な通信圧縮技術の存在下では、同時に対処されていない重要なデシダータムである。 本稿では,コミュニケーション圧縮によるプライベート・フェデレーション学習のコミュニケーション効率を向上させる統一フレームワークを提案する。 一般圧縮演算子と局所微分プライバシーの両方をエクスプロイットし、まず、微分プライベートな確率勾配降下に直接圧縮を適用する単純なアルゴリズムを検証し、その制限を識別する。 そこで我々は,一般の確率的分散還元勾配法や最先端のシフト圧縮スキームを含む局所勾配推定器の一般ファミリーを収容できる,プライベートフェデレーション学習のための統一フレームワークSoteriaFLを提案する。 本稿では,プライバシ,ユーティリティ,および通信複雑性の観点から,その性能上のトレードオフを包括的に評価する。soteraflでは,通信圧縮を伴わずに,他のプライベートフェデレーション学習アルゴリズムよりも,プライバシやユーティリティを犠牲にすることなく,より優れた通信複雑性を実現することが示されている。

関連論文リスト

• Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy [10.396575601912673]
  そこで我々は,DP-FCRN (differially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを導入する。 2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。 また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。
  論文  参考訳（メタデータ） (2024-08-08T08:48:54Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Private Federated Learning with Autotuned Compression [44.295638792312694]
  我々は,圧縮率の設定やチューニングを必要とせずに,プライベートフェデレーション学習におけるコミュニケーションを減らす新しい手法を提案する。 我々のオンザフライ方式は、トレーニング中に発生するエラーに基づいて自動的に圧縮率を調整し、保証可能なプライバシ保証を維持している。 チューニングを必要とせず、良好な圧縮率を達成し、実世界のデータセットに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-07-20T16:27:51Z)
• Killing Two Birds with One Stone: Quantization Achieves Privacy in Distributed Learning [18.824571167583432]
  コミュニケーション効率とプライバシ保護は、分散機械学習において重要な問題である。 通信効率とプライバシ保護を同時に達成できる包括的量子化ベースのソリューションを提案する。 理論的には、コミュニケーション、プライバシ、学習パフォーマンスの新たなトレードオフを捉えます。
  論文  参考訳（メタデータ） (2023-04-26T13:13:04Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching [33.54413645276686]
  コミュニケーションの複雑さとプライバシは、フェデレートラーニングにおける2つの重要な課題である。 我々はFedSKETCHとFedSKETCHGATEアルゴリズムを導入し、Federated Learningにおける両方の課題に共同で対処する。
  論文  参考訳（メタデータ） (2020-08-11T19:22:48Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。