論文の概要: Differentially Private Online Federated Learning with Correlated Noise
- arxiv url: http://arxiv.org/abs/2403.16542v2
- Date: Fri, 6 Sep 2024 19:28:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 03:02:27.815646
- Title: Differentially Private Online Federated Learning with Correlated Noise
- Title(参考訳): 相関雑音を伴う個人用オンラインフェデレーション学習
- Authors: Jiaojiao Zhang, Linglingzhi Zhu, Mikael Johansson,
- Abstract要約: 本稿では,時間的相関雑音を用いたオンラインフェデレーション学習のための新しい微分プライベートアルゴリズムを提案する。
本研究では,局所更新によるドリフト誤差を準強凸条件下で効果的に管理できることを示す。
- 参考スコア(独自算出の注目度): 8.349938538355772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel differentially private algorithm for online federated learning that employs temporally correlated noise to enhance utility while ensuring privacy of continuously released models. To address challenges posed by DP noise and local updates with streaming non-iid data, we develop a perturbed iterate analysis to control the impact of the DP noise on the utility. Moreover, we demonstrate how the drift errors from local updates can be effectively managed under a quasi-strong convexity condition. Subject to an $(\epsilon, \delta)$-DP budget, we establish a dynamic regret bound over the entire time horizon, quantifying the impact of key parameters and the intensity of changes in dynamic environments. Numerical experiments confirm the efficacy of the proposed algorithm.
- Abstract(参考訳): 本稿では,時間的相関雑音を用いたオンラインフェデレーション学習のための新しい微分プライベートアルゴリズムを提案する。
DPノイズと非IDデータストリーミングによるローカル更新による課題に対処するため,DPノイズがユーティリティに与える影響を制御するための摂動反復解析を開発した。
さらに,局所更新によるドリフト誤差を準強凸条件下で効果的に管理できることを示す。
$(\epsilon, \delta)$-DP予算の下では、時間的地平線全体に束縛された動的後悔を確立し、キーパラメータの影響と動的環境の変化の強度を定量化する。
数値実験により提案アルゴリズムの有効性が確認された。
関連論文リスト
- FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis [3.665841843512992]
分散ノイズモデル更新追跡フェデレート学習アルゴリズム(FedNMUT)を提案する。
ノイズの多い通信チャネルで効率的に機能するように調整されている。
FedNMUTはノイズをパラメータに組み込んで、ノイズの多い通信チャネルの条件を模倣する。
論文 参考訳(メタデータ) (2024-03-20T02:17:47Z) - Towards the Flatter Landscape and Better Generalization in Federated
Learning under Client-level Differential Privacy [67.33715954653098]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。
より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
論文 参考訳(メタデータ) (2023-05-01T15:19:09Z) - Amplitude-Varying Perturbation for Balancing Privacy and Utility in
Federated Learning [86.08285033925597]
本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。
我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。
新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
論文 参考訳(メタデータ) (2023-03-07T22:52:40Z) - Noise Injection Node Regularization for Robust Learning [0.0]
ノイズインジェクションノード規則化(NINR)は、トレーニング期間中に、構造化されたノイズをディープニューラルネットワーク(DNN)に注入する手法である。
本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。
論文 参考訳(メタデータ) (2022-10-27T20:51:15Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。
ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-10-14T15:02:20Z) - On Dynamic Noise Influence in Differentially Private Learning [102.6791870228147]
Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。
最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。
本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
論文 参考訳(メタデータ) (2021-01-19T02:04:00Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T09:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。