論文の概要: Differentially Private Federated Learning with Local Regularization and Sparsification

• arxiv url: http://arxiv.org/abs/2203.03106v1
• Date: Mon, 7 Mar 2022 02:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:54:28.922724
• Title: Differentially Private Federated Learning with Local Regularization and Sparsification
• Title（参考訳）: 局所正規化とスパシフィケーションによる差分私的フェデレーション学習
• Authors: Anda Cheng, Peisong Wang, Xi Sheryl Zhang, Jian Cheng
• Abstract要約: ユーザレベルのDP保証下でのフェデレート学習におけるモデル性能劣化の原因について検討する。 プライバシを犠牲にすることなくモデル品質を向上させるために,バウンドローカル更新正規化とローカルアップデートスパシフィケーションという2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 23.15611313745278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: User-level differential privacy (DP) provides certifiable privacy guarantees to the information that is specific to any user's data in federated learning. Existing methods that ensure user-level DP come at the cost of severe accuracy decrease. In this paper, we study the cause of model performance degradation in federated learning under user-level DP guarantee. We find the key to solving this issue is to naturally restrict the norm of local updates before executing operations that guarantee DP. To this end, we propose two techniques, Bounded Local Update Regularization and Local Update Sparsification, to increase model quality without sacrificing privacy. We provide theoretical analysis on the convergence of our framework and give rigorous privacy guarantees. Extensive experiments show that our framework significantly improves the privacy-utility trade-off over the state-of-the-arts for federated learning with user-level DP guarantee.
• Abstract（参考訳）: ユーザレベルの差分プライバシー(DP)は、フェデレーション学習においてユーザーのデータに固有の情報に対して、認証されたプライバシー保証を提供する。 ユーザレベルのDPを保証する既存の方法では、精度が著しく低下する。 本稿では,ユーザレベルのDP保証下でのフェデレーション学習におけるモデル性能劣化の原因について検討する。 この問題を解決する鍵は、DPを保証する操作を実行する前に、ローカル更新の規範を自然に制限することにある。 そこで我々は,プライバシを犠牲にすることなくモデル品質を向上させるために,局所更新正規化と局所更新スパーシフィケーションという2つの手法を提案する。 フレームワークの収束に関する理論的分析を行い、厳密なプライバシー保証を提供します。 大規模な実験により,我々のフレームワークは,ユーザレベルのDP保証を伴うフェデレート学習における最先端技術とのトレードオフを大幅に改善することが示された。

関連論文リスト

• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Secure Aggregation is Not Private Against Membership Inference Attacks [66.59892736942953]
  フェデレーション学習におけるSecAggのプライバシーへの影響について検討する。 SecAggは、単一のトレーニングラウンドであっても、メンバシップ推論攻撃に対して弱いプライバシを提供します。 以上の結果から,ノイズ注入などの付加的なプライバシー強化機構の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2024-03-26T15:07:58Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation [4.2698418800007865]
  フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。 我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。 数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-09-16T09:58:03Z)
• Federated Learning for Face Recognition with Gradient Correction [52.896286647898386]
  本稿では,顔認識のためのフェデレーション学習に取り組むためのフレームワークであるFedGCを紹介する。 我々は,FedGCが標準ソフトマックスと同様の損失関数を構成することを示す。
  論文  参考訳（メタデータ） (2021-12-14T09:19:29Z)
• Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
  フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。 i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。 本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-17T18:23:49Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)
• LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy [20.95527613004989]
  フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。 それまでの作業は3つの問題により現実的な解決には至らなかった。 最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
  論文  参考訳（メタデータ） (2020-07-31T01:08:57Z)
• How to Democratise and Protect AI: Fair and Differentially Private Decentralised Deep Learning [43.73144358534933]
  我々はFDPDDLと呼ばれる公平で差別的な分散型ディープラーニングフレームワークを構築している。 これにより、公正かつプライベートな方法で、より正確なローカルモデルを導出することができる。 FDPDDLは高い公正性を達成し、中央集権および分散フレームワークに匹敵する精度を示し、スタンドアロンフレームワークよりも優れた精度を提供する。
  論文  参考訳（メタデータ） (2020-07-18T09:06:10Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。