Fugu-MT 論文翻訳(概要): Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization

論文の概要: Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization

arxiv url: http://arxiv.org/abs/2008.01558v2
Date: Tue, 8 Jun 2021 20:18:08 GMT
ステータス: 処理完了
システム内更新日: 2022-11-04 00:28:12.908096
Title: Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization
Title（参考訳）: スパシフィケーションによるフェデレーション学習と適応最適化
Authors: Rui Hu and Yanmin Gong and Yuanxiong Guo
Abstract要約: フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。スパーシフィケーションを増幅した新しいFLフレームワークを提案する。提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
参考スコア（独自算出の注目度）: 27.243322019117144
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) enables distributed agents to collaboratively learn a centralized model without sharing their raw data with each other. However, data locality does not provide sufficient privacy protection, and it is desirable to facilitate FL with rigorous differential privacy (DP) guarantee. Existing DP mechanisms would introduce random noise with magnitude proportional to the model size, which can be quite large in deep neural networks. In this paper, we propose a new FL framework with sparsification-amplified privacy. Our approach integrates random sparsification with gradient perturbation on each agent to amplify privacy guarantee. Since sparsification would increase the number of communication rounds required to achieve a certain target accuracy, which is unfavorable for DP guarantee, we further introduce acceleration techniques to help reduce the privacy cost. We rigorously analyze the convergence of our approach and utilize Renyi DP to tightly account the end-to-end DP guarantee. Extensive experiments on benchmark datasets validate that our approach outperforms previous differentially-private FL approaches in both privacy guarantee and communication efficiency.
Abstract（参考訳）: フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。しかし、データの局所性は十分なプライバシー保護を提供しておらず、厳密な差分プライバシー(DP)保証でFLを促進することが望ましい。既存のDPメカニズムは、モデルサイズに比例する大きさのランダムノイズを導入し、ディープニューラルネットワークでは極めて大きなものとなる。本稿では,sparsification-amplified privacy を用いた新しい fl フレームワークを提案する。提案手法はランダムなスペーシングと各エージェントの勾配摂動を統合し、プライバシー保証を増幅する。 dp保証に不利な目標精度を達成するために必要な通信ラウンド数をスパーシフィケーションによって増加させるため,さらに,プライバシコストを低減するための加速技術を導入する。我々は,アプローチの収束を厳密に分析し,Renyi DPを用いてエンドツーエンドのDP保証を厳格に考慮する。ベンチマークデータセットに関する広範な実験は、プライバシ保証と通信効率の両方において、これまでの差分プライベートflアプローチを上回っていることを検証します。

関連論文リスト

DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
論文参考訳（メタデータ） (2024-09-20T16:49:01Z)
Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
論文参考訳（メタデータ） (2024-07-20T00:11:59Z)
TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文参考訳（メタデータ） (2024-02-16T16:41:14Z)
Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-08-07T06:07:04Z)
Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文参考訳（メタデータ） (2023-05-24T13:44:02Z)
Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
論文参考訳（メタデータ） (2023-05-01T15:19:09Z)
Communication and Energy Efficient Wireless Federated Learning with Intrinsic Privacy [16.305837225117603]
Federated Learning(FL)は、エッジデバイスが生データをローカルに保持しながら、グローバルモデルを共同で学習することを可能にする、協調学習フレームワークである。本研究では,PFELS(Private Edge Learning with Spars)と呼ばれる新しい無線FL方式を提案する。
論文参考訳（メタデータ） (2023-04-15T03:04:11Z)
FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文参考訳（メタデータ） (2023-02-02T12:56:46Z)
Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy [27.243322019117144]
フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
論文参考訳（メタデータ） (2022-02-15T04:05:42Z)
Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文参考訳（メタデータ） (2021-10-27T04:11:06Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。