論文の概要: Binary Federated Learning with Client-Level Differential Privacy
- arxiv url: http://arxiv.org/abs/2308.03320v1
- Date: Mon, 7 Aug 2023 06:07:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 15:02:05.214116
- Title: Binary Federated Learning with Client-Level Differential Privacy
- Title（参考訳）: クライアントレベル差分プライバシーを用いたバイナリフェデレーション学習
- Authors: Lumin Liu, Jun Zhang, Shenghui Song, Khaled B. Letaief
- Abstract要約: フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 7.854806519515342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a privacy-preserving collaborative learning
framework, and differential privacy can be applied to further enhance its
privacy protection. Existing FL systems typically adopt Federated Average
(FedAvg) as the training algorithm and implement differential privacy with a
Gaussian mechanism. However, the inherent privacy-utility trade-off in these
systems severely degrades the training performance if a tight privacy budget is
enforced. Besides, the Gaussian mechanism requires model weights to be of
high-precision. To improve communication efficiency and achieve a better
privacy-utility trade-off, we propose a communication-efficient FL training
algorithm with differential privacy guarantee. Specifically, we propose to
adopt binary neural networks (BNNs) and introduce discrete noise in the FL
setting. Binary model parameters are uploaded for higher communication
efficiency and discrete noise is added to achieve the client-level differential
privacy protection. The achieved performance guarantee is rigorously proved,
and it is shown to depend on the level of discrete noise. Experimental results
based on MNIST and Fashion-MNIST datasets will demonstrate that the proposed
training algorithm achieves client-level privacy protection with performance
gain while enjoying the benefits of low communication overhead from binary
model updates.
- Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシ保護のための協調学習フレームワークであり、プライバシ保護をさらに強化するために差分プライバシを適用することができる。
既存のFLシステムは、トレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用し、ガウス機構で差分プライバシーを実装している。
しかしながら、これらのシステムの固有のプライバシーユーティリティトレードオフは、厳格なプライバシー予算が実施されれば、トレーニングパフォーマンスを著しく低下させる。
さらに、ガウス機構はモデル重みが高精度であることを要求する。
通信効率を向上し、プライバシー利用のトレードオフを改善するために、差分プライバシーを保証する通信効率の高いFLトレーニングアルゴリズムを提案する。
具体的には、バイナリニューラルネットワーク(BNN)を採用し、FL設定に離散ノイズを導入することを提案する。
バイナリモデルパラメータは高い通信効率のためにアップロードされ、クライアントレベルの差分プライバシー保護を実現するために離散ノイズが追加される。
達成された性能保証は厳密に証明され、離散ノイズのレベルに依存することが示されている。
MNISTとFashion-MNISTデータセットに基づく実験結果から,提案したトレーニングアルゴリズムは,バイナリモデル更新による通信オーバーヘッドの低さを享受しながら,クライアントレベルのプライバシ保護とパフォーマンス向上を実現する。
関連論文リスト
- Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing [5.667290129954206]
フェデレートラーニング(FL)はIoT(Internet of Things)環境での効率的なデータ交換に不可欠である。
プライバシ保護によるフェデレーションハイパー次元コンピューティング(FedHDPrivacy)について紹介する。
FedHDPrivacyは、前回のラウンドから累積ノイズを理論的に追跡することで、プライバシとパフォーマンスのバランスを慎重に管理する。
論文 参考訳（メタデータ） (2024-11-02T05:00:44Z) - Immersion and Invariance-based Coding for Privacy-Preserving Federated
Learning [1.5989047000011911]
協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。
制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。
提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
論文 参考訳（メタデータ） (2024-09-25T15:04:42Z) - CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。
相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。
また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
論文 参考訳（メタデータ） (2024-09-20T00:23:44Z) - Clients Collaborate: Flexible Differentially Private Federated Learning
with Guaranteed Improvement of Utility-Privacy Trade-off [34.2117116062642]
我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。
グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。
異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
論文 参考訳（メタデータ） (2024-02-10T17:39:34Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。
本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。
その独特な洞察力のある性質とその分析も提示される。
論文 参考訳（メタデータ） (2023-10-30T14:15:47Z) - Differentially Private Wireless Federated Learning Using Orthogonal
Sequences [56.52483669820023]
本稿では,FLORAS と呼ばれる AirComp 法を提案する。
FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。
新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
論文 参考訳（メタデータ） (2023-06-14T06:35:10Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳（メタデータ） (2021-06-25T14:47:19Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳（メタデータ） (2020-08-01T20:22:57Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。