論文の概要: Killing Two Birds with One Stone: Quantization Achieves Privacy in
Distributed Learning
- arxiv url: http://arxiv.org/abs/2304.13545v1
- Date: Wed, 26 Apr 2023 13:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 14:09:43.369775
- Title: Killing Two Birds with One Stone: Quantization Achieves Privacy in
Distributed Learning
- Title(参考訳): 1つの石で2羽の鳥を殺す:分散学習におけるプライバシーを実現する量子化
- Authors: Guangfeng Yan, Tan Li, Kui Wu, Linqi Song
- Abstract要約: コミュニケーション効率とプライバシ保護は、分散機械学習において重要な問題である。
通信効率とプライバシ保護を同時に達成できる包括的量子化ベースのソリューションを提案する。
理論的には、コミュニケーション、プライバシ、学習パフォーマンスの新たなトレードオフを捉えます。
- 参考スコア(独自算出の注目度): 18.824571167583432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Communication efficiency and privacy protection are two critical issues in
distributed machine learning. Existing methods tackle these two issues
separately and may have a high implementation complexity that constrains their
application in a resource-limited environment. We propose a comprehensive
quantization-based solution that could simultaneously achieve communication
efficiency and privacy protection, providing new insights into the correlated
nature of communication and privacy. Specifically, we demonstrate the
effectiveness of our proposed solutions in the distributed stochastic gradient
descent (SGD) framework by adding binomial noise to the uniformly quantized
gradients to reach the desired differential privacy level but with a minor
sacrifice in communication efficiency. We theoretically capture the new
trade-offs between communication, privacy, and learning performance.
- Abstract(参考訳): コミュニケーション効率とプライバシ保護は、分散機械学習における2つの重要な問題である。
既存のメソッドはこれら2つの問題に別々に対処し、リソース制限された環境でアプリケーションを制約する実装の複雑さが高い可能性がある。
本稿では,コミュニケーション効率とプライバシ保護を同時に実現し,コミュニケーションとプライバシの相関性に関する新たな洞察を与える包括的定量化に基づくソリューションを提案する。
具体的には、一様量子化勾配に二項雑音を加えて所望の差分プライバシーレベルに到達させることにより、分散確率勾配降下(SGD)フレームワークにおける提案手法の有効性を実証する。
理論的には、コミュニケーション、プライバシー、学習パフォーマンスの新たなトレードオフを捉えます。
関連論文リスト
- TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳(メタデータ) (2024-02-16T16:41:14Z) - Group Decision-Making among Privacy-Aware Agents [2.88268082568407]
個人のプライバシーを維持し、効果的な社会学習を可能にすることはどちらも重要なデシダータであるが、基本的には互いに相反しているように見える。
差分プライバシー(DP)に基づく厳密な統計的保証を用いて情報漏洩を制御する。
その結果,グループ意思決定の結果の質,学習精度,通信コスト,エージェントが備えているプライバシー保護の水準の両面でのトレードオフの性質が明らかになった。
論文 参考訳(メタデータ) (2024-02-13T01:38:01Z) - Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-08-07T06:07:04Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Over-the-Air Federated Averaging with Limited Power and Privacy Budgets [49.04036552090802]
本稿では,電力予算が制限されたプライベート・オーバ・ザ・エア・フェデレーション(DP-OTA-FedAvg)システムについて検討する。
我々は,DP-OTA-FedAvg係数のギャップを最小化し,プライバシー機能を最小化するために解析的問題を改善することを目的としている。
論文 参考訳(メタデータ) (2023-05-05T13:56:40Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳(メタデータ) (2023-02-19T16:58:53Z) - Privacy-Preserving Joint Edge Association and Power Optimization for the
Internet of Vehicles via Federated Multi-Agent Reinforcement Learning [74.53077322713548]
プライバシ保護型共同エッジアソシエーションと電力配分問題について検討する。
提案されたソリューションは、最先端のソリューションよりも高いプライバシレベルを維持しながら、魅力的なトレードオフにぶつかる。
論文 参考訳(メタデータ) (2023-01-26T10:09:23Z) - SoteriaFL: A Unified Framework for Private Federated Learning with
Communication Compression [40.646108010388986]
本稿では,コミュニケーション圧縮によるプライベート・フェデレーション学習のコミュニケーション効率を向上させる統一フレームワークを提案する。
プライバシ、ユーティリティ、通信の複雑さの観点から、パフォーマンストレードオフを包括的に評価する。
論文 参考訳(メタデータ) (2022-06-20T16:47:58Z) - Differentially Private Multi-Agent Planning for Logistic-like Problems [70.3758644421664]
本稿では,ロジスティックな問題に対する強力なプライバシ保護計画手法を提案する。
1) 強いプライバシー、完全性、効率性、2) 通信制約に対処する2つの課題に対処する。
我々の知る限り、マルチエージェントプランニングの分野に差分プライバシーを適用したのは、この論文が初めてである。
論文 参考訳(メタデータ) (2020-08-16T03:43:09Z) - FedSKETCH: Communication-Efficient and Private Federated Learning via
Sketching [33.54413645276686]
コミュニケーションの複雑さとプライバシは、フェデレートラーニングにおける2つの重要な課題である。
我々はFedSKETCHとFedSKETCHGATEアルゴリズムを導入し、Federated Learningにおける両方の課題に共同で対処する。
論文 参考訳(メタデータ) (2020-08-11T19:22:48Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳(メタデータ) (2020-07-10T18:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。