Fugu-MT 論文翻訳(概要): Private and Communication-Efficient Federated Learning based on Differentially Private Sketches

論文の概要: Private and Communication-Efficient Federated Learning based on Differentially Private Sketches

arxiv url: http://arxiv.org/abs/2410.05733v1
Date: Thu, 10 Oct 2024 03:35:54 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 13:19:50.146755
Title: Private and Communication-Efficient Federated Learning based on Differentially Private Sketches
Title（参考訳）: 差分的私的スケッチに基づく私的・コミュニケーション効率の高いフェデレーションラーニング
Authors: Meifan Zhang, Zhanhong Xie, Lihua Yin,
Abstract要約: フェデレーテッド・ラーニング(FL)は、プライバシー漏洩のリスクとコミュニケーションの非効率の2つの主な課題に直面している。そこで我々は,差分プライベートスケッチを利用したフェデレーション学習手法であるDPSFLを提案する。提案手法のプライバシーと収束に関する理論的解析を行う。
参考スコア（独自算出の注目度）: 0.4533408985664949
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) faces two primary challenges: the risk of privacy leakage due to parameter sharing and communication inefficiencies. To address these challenges, we propose DPSFL, a federated learning method that utilizes differentially private sketches. DPSFL compresses the local gradients of each client using a count sketch, thereby improving communication efficiency, while adding noise to the sketches to ensure differential privacy (DP). We provide a theoretical analysis of privacy and convergence for the proposed method. Gradient clipping is essential in DP learning to limit sensitivity and constrain the addition of noise. However, clipping introduces bias into the gradients, negatively impacting FL performance. To mitigate the impact of clipping, we propose an enhanced method, DPSFL-AC, which employs an adaptive clipping strategy. Experimental comparisons with existing techniques demonstrate the superiority of our methods concerning privacy preservation, communication efficiency, and model accuracy.
Abstract（参考訳）: フェデレートラーニング(FL)は、パラメータ共有によるプライバシー漏洩のリスクとコミュニケーションの非効率の2つの主な課題に直面している。これらの課題に対処するために,差分プライベートスケッチを利用したフェデレーション学習手法であるDPSFLを提案する。 DPSFLは、カウントスケッチを使用して各クライアントの局所勾配を圧縮し、それによって通信効率を向上させるとともに、スケッチにノイズを加えて差分プライバシー(DP)を確保する。提案手法のプライバシーと収束に関する理論的解析を行う。 DP学習において、感度を抑え、ノイズの付加を制限するためにグラディエント・クリッピングが不可欠である。しかし、クリッピングは勾配に偏りをもたらし、FL性能に悪影響を及ぼす。クリッピングの影響を軽減するため,適応型クリッピング戦略を用いた拡張手法DPSFL-ACを提案する。従来の手法と比較して,プライバシ保護,通信効率,モデル精度に関する手法が優れていることを示す。

関連論文リスト

DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
論文参考訳（メタデータ） (2024-09-20T16:49:01Z)
Personalized Federated Learning Techniques: Empirical Analysis [2.9521571597754885]
我々は、様々なデータセットとデータ分割にまたがる10の卓越したpFL手法を実証的に評価し、その性能に有意な違いが判明した。本研究は,pFLのスケーリングにおける通信効率の重要な役割を強調し,実際の展開における資源利用にどのように影響するかを示す。
論文参考訳（メタデータ） (2024-09-10T18:16:28Z)
Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-08-07T06:07:04Z)
Differentially Private Wireless Federated Learning Using Orthogonal Sequences [56.52483669820023]
本稿では,FLORAS と呼ばれる AirComp 法を提案する。 FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
論文参考訳（メタデータ） (2023-06-14T06:35:10Z)
FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文参考訳（メタデータ） (2023-02-02T12:56:46Z)
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise [30.005017338416327]
フェデレートラーニングは、クライアントにローカルトレーニングモデルのみを公開することによって、孤立したデータアイランドの問題に対処しようとしている。近年、データプライバシを保護するためのフェデレーション学習に差分プライバシーが適用されているが、付加されるノイズは学習性能を著しく低下させる可能性がある。適応雑音付きフェデレーション学習のための差分プライベートスキーム(Adap DP-FL)を提案する。
論文参考訳（メタデータ） (2022-11-29T03:20:40Z)
Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文参考訳（メタデータ） (2022-10-05T13:13:35Z)
Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文参考訳（メタデータ） (2021-06-25T14:47:19Z)
Voting-based Approaches For Differentially Private Federated Learning [87.2255217230752]
この研究はPapernotらによる非フェデレーションプライバシ学習の知識伝達にインスパイアされている。我々は,各局所モデルから返されるデータラベル間で投票を行うことで,勾配を平均化する代わりに2つの新しいDPFLスキームを設計する。我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善します。
論文参考訳（メタデータ） (2020-10-09T23:55:19Z)
Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。スパーシフィケーションを増幅した新しいFLフレームワークを提案する。提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文参考訳（メタデータ） (2020-08-01T20:22:57Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。