論文の概要: Joint Privacy Enhancement and Quantization in Federated Learning
- arxiv url: http://arxiv.org/abs/2208.10888v1
- Date: Tue, 23 Aug 2022 11:42:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 14:01:56.967769
- Title: Joint Privacy Enhancement and Quantization in Federated Learning
- Title（参考訳）: フェデレーション学習における共同プライバシ向上と量子化
- Authors: Natalie Lang, Elad Sofer, Tomer Shaked, and Nir Shlezinger
- Abstract要約: Federated Learning(FL)は、エッジデバイスで利用可能なプライベートデータを使用して機械学習モデルをトレーニングするための新興パラダイムである。
共同プライバシー強化・量子化法(JoPEQ)を提案する。
所望のプライバシレベルを保持しながら、必要なビットレートに応じてデータを同時に定量化することを示す。
- 参考スコア（独自算出の注目度）: 23.36363480217293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is an emerging paradigm for training machine learning
models using possibly private data available at edge devices. The distributed
operation of FL gives rise to challenges that are not encountered in
centralized machine learning, including the need to preserve the privacy of the
local datasets, and the communication load due to the repeated exchange of
updated models. These challenges are often tackled individually via techniques
that induce some distortion on the updated models, e.g., local differential
privacy (LDP) mechanisms and lossy compression. In this work we propose a
method coined joint privacy enhancement and quantization (JoPEQ), which jointly
implements lossy compression and privacy enhancement in FL settings. In
particular, JoPEQ utilizes vector quantization based on random lattice, a
universal compression technique whose byproduct distortion is statistically
equivalent to additive noise. This distortion is leveraged to enhance privacy
by augmenting the model updates with dedicated multivariate privacy preserving
noise. We show that JoPEQ simultaneously quantizes data according to a required
bit-rate while holding a desired privacy level, without notably affecting the
utility of the learned model. This is shown via analytical LDP guarantees,
distortion and convergence bounds derivation, and numerical studies. Finally,
we empirically assert that JoPEQ demolishes common attacks known to exploit
privacy leakage.
- Abstract（参考訳）: Federated Learning(FL)は、エッジデバイスで利用可能なプライベートデータを使用して機械学習モデルをトレーニングするための新興パラダイムである。
FLの分散運用は、ローカルデータセットのプライバシを保存する必要性や、更新されたモデルの繰り返し交換による通信負荷など、集中型機械学習では発生しない課題を引き起こす。
これらの課題は、ローカルディファレンシャルプライバシ(LDP)機構や損失圧縮など、更新されたモデルにある程度の歪みをもたらす技術によって個別に対処されることが多い。
本研究では、FL設定における損失圧縮とプライバシー強化を共同で実装したジョイントプライバシ向上量子化(JoPEQ)を提案する。
特に、JoPEQは、副次歪みが統計的に付加雑音と等価である普遍圧縮手法であるランダム格子に基づくベクトル量子化を利用する。
この歪みは、モデル更新を専用の多変量プライバシー保存ノイズで強化することで、プライバシを強化するために活用される。
所望のプライバシレベルを保持しながら、必要なビットレートに応じてデータを同時に定量化するJoPEQは、学習モデルの実用性に特に影響を与えないことを示す。
これは解析的 LDP 保証、歪みと収束境界の導出、および数値的研究を通じて示される。
最後に、JoPEQはプライバシー漏洩を悪用する一般的な攻撃を廃止する、と実証的に主張する。
関連論文リスト
- Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。
ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
論文 参考訳（メタデータ） (2024-06-05T17:41:42Z) - The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective [15.349042342071439]
フェデレートラーニング(FL)は、分散データを使用したプライバシ保護機械学習を大いに約束する新興パラダイムである。
プライバシーを強化するために、FLはモデルの重み付けにガウスノイズを加えることを含む差分プライバシー(DP)と組み合わせることができる。
本研究では,FLシステムにおける量子化がプライバシに与える影響について検討する。
論文 参考訳（メタデータ） (2024-05-16T13:50:46Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - QMGeo: Differentially Private Federated Learning via Stochastic Quantization with Mixed Truncated Geometric Distribution [1.565361244756411]
Federated Learning(FL)は、複数のユーザがグローバル機械学習(ML)モデルを共同でトレーニングできるフレームワークである。
このような分散フレームワークの重要な動機の1つは、ユーザにプライバシ保証を提供することである。
本稿では,DPを提供するのに必要なランダム性を導入するために,混合幾何分布を用いた新しい量子化法を提案する。
論文 参考訳（メタデータ） (2023-12-10T04:44:53Z) - Amplitude-Varying Perturbation for Balancing Privacy and Utility in
Federated Learning [86.08285033925597]
本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。
我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。
新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
論文 参考訳（メタデータ） (2023-03-07T22:52:40Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳（メタデータ） (2023-02-19T16:58:53Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Compression Boosts Differentially Private Federated Learning [0.7742297876120562]
フェデレートされた学習により、分散エンティティは、自身のデータを共有することなく、共通のモデルを協調的にトレーニングできる。
悪意のあるエンティティが、捕獲された勾配から参加者のトレーニングデータに関するプライベート情報を学ぶことができるような、さまざまな推論や再構築攻撃に対して脆弱なままである。
本稿では,2つのデータセットを用いて,従来の非私的フェデレート学習方式と比較して,通信コストを最大95%削減できることを示す。
論文 参考訳（メタデータ） (2020-11-10T13:11:03Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。