論文の概要: Efficiently Achieving Secure Model Training and Secure Aggregation to Ensure Bidirectional Privacy-Preservation in Federated Learning

• arxiv url: http://arxiv.org/abs/2412.11737v1
• Date: Mon, 16 Dec 2024 12:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:12.452330
• Title: Efficiently Achieving Secure Model Training and Secure Aggregation to Ensure Bidirectional Privacy-Preservation in Federated Learning
• Title（参考訳）: フェデレートラーニングにおける双方向プライバシ保護のためのセキュアモデルトレーニングとセキュアアグリゲーションの効率向上
• Authors: Xue Yang, Depan Peng, Yan Feng, Xiaohu Tang, Weijun Fang, Jun Shao,
• Abstract要約: 局所勾配とグローバルモデルの両方がプライバシーを侵害する可能性があるため、双方向のプライバシー保護フェデレーション学習が不可欠である。 我々は、安全なモデルトレーニングと安全なアグリゲーションを実現するために、フェデレートラーニングのための効率的で高精度な双方向プライバシー保護スキームを設計する。 提案手法は, 計算コスト, モデル精度, 防衛能力において, 最先端の双方向プライバシー保護ベースラインを著しく上回っている。
• 参考スコア（独自算出の注目度）: 36.94596192980534
• License:
• Abstract: Bidirectional privacy-preservation federated learning is crucial as both local gradients and the global model may leak privacy. However, only a few works attempt to achieve it, and they often face challenges such as excessive communication and computational overheads, or significant degradation of model accuracy, which hinders their practical applications. In this paper, we design an efficient and high-accuracy bidirectional privacy-preserving scheme for federated learning to complete secure model training and secure aggregation. To efficiently achieve bidirectional privacy, we design an efficient and accuracy-lossless model perturbation method on the server side (called $\mathbf{MP\_Server}$) that can be combined with local differential privacy (LDP) to prevent clients from accessing the model, while ensuring that the local gradients obtained on the server side satisfy LDP. Furthermore, to ensure model accuracy, we customize a distributed differential privacy mechanism on the client side (called $\mathbf{DDP\_Client}$). When combined with $\mathbf{MP\_Server}$, it ensures LDP of the local gradients, while ensuring that the aggregated result matches the accuracy of central differential privacy (CDP). Extensive experiments demonstrate that our scheme significantly outperforms state-of-the-art bidirectional privacy-preservation baselines (SOTAs) in terms of computational cost, model accuracy, and defense ability against privacy attacks. Particularly, given target accuracy, the training time of SOTAs is approximately $200$ times, or even over $1000$ times, longer than that of our scheme. When the privacy budget is set relatively small, our scheme incurs less than $6\%$ accuracy loss compared to the privacy-ignoring method, while SOTAs suffer up to $20\%$ accuracy loss. Experimental results also show that the defense capability of our scheme outperforms than SOTAs.
• Abstract（参考訳）: 局所勾配とグローバルモデルの両方がプライバシーを侵害する可能性があるため、双方向のプライバシー保護フェデレーション学習が不可欠である。 しかし、それを達成しようとする研究はごくわずかであり、過度な通信や計算上のオーバーヘッド、モデルの精度の大幅な低下といった課題に直面することが多く、実際的な応用を妨げている。 本稿では,フェデレーション学習のための効率的かつ高精度な双方向プライバシ保存方式を設計し,モデルトレーニングと安全なアグリゲーションを実現する。 双方向プライバシを効率よく実現するため,サーバ側で得られた局所勾配がLDPを満たすことを保証しつつ,クライアントがモデルにアクセスできないよう,ローカルディファレンシャルプライバシ(LDP)と組み合わせることができる,効率的で精度の低いモデル摂動法($\mathbf{MP\_Server}$)を設計する。 さらに、モデルの精度を保証するために、クライアント側の分散微分プライバシーメカニズムをカスタマイズします($\mathbf{DDP\_Client}$)。 $\mathbf{MP\_Server}$と組み合わせると、局所勾配のLDPが保証され、集約された結果が中央微分プライバシー(CDP)の精度に一致することが保証される。 大規模な実験により、我々の手法は、計算コスト、モデル精度、プライバシ攻撃に対する防御能力において、最先端の双方向プライバシー保護ベースライン(SOTA)を著しく上回ります。 特に、目標精度を考慮すれば、SOTAのトレーニング時間はおよそ200ドル、あるいは1,000ドル以上で、私たちのスキームよりも長い。 プライバシ予算が比較的小さく設定されている場合、私たちのスキームはプライバシを無視した方法に比べて6\%以上の精度損失を発生させ、SOTAは最大20\%の精度損失を被る。 また,本手法の防御能力はSOTAよりも優れていた。

関連論文リスト

• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Augment then Smooth: Reconciling Differential Privacy with Certified Robustness [32.49465965847842]
  標準偏差プライベートモデルトレーニングは,信頼性の高いロバスト性保証を提供するには不十分であることを示す。 本稿では,プライバシとロバスト性の両方を同時に実現する,シンプルで効果的なDP-CERTを提案する。
  論文  参考訳（メタデータ） (2023-06-14T17:52:02Z)
• Private, Efficient, and Accurate: Protecting Models Trained by Multi-party Learning with Differential Privacy [8.8480262507008]
  セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。 TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。 PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
  論文  参考訳（メタデータ） (2022-08-18T06:48:25Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning [34.630300910399036]
  我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。 我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。 これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
  論文  参考訳（メタデータ） (2022-03-07T22:56:09Z)
• Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy [27.243322019117144]
  フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。 トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。 差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。 本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
  論文  参考訳（メタデータ） (2022-02-15T04:05:42Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。