論文の概要: Camel: Communication-Efficient and Maliciously Secure Federated Learning in the Shuffle Model of Differential Privacy
- arxiv url: http://arxiv.org/abs/2410.03407v1
- Date: Fri, 4 Oct 2024 13:13:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 22:39:00.297982
- Title: Camel: Communication-Efficient and Maliciously Secure Federated Learning in the Shuffle Model of Differential Privacy
- Title（参考訳）: Camel: 差別的プライバシのシャッフルモデルにおけるコミュニケーション効率が高く悪意のあるフェデレーション学習
- Authors: Shuangqing Xu, Yifeng Zheng, Zhongyun Hua,
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアントが集約のための勾配更新のみを共有することで、モデルを共同でトレーニングすることを可能にする、急速に魅力的なパラダイムになっています。
プライバシーに敏感なグラデーションアップデートを保護するため、ローカルな差分プライバシーメカニズムの研究が続けられている。
我々は,DP のシャッフルモデルにおいて,コミュニケーション効率が高く,かつ悪意のある FL フレームワークである Camel を提示する。
- 参考スコア（独自算出の注目度）: 9.100955087185811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has rapidly become a compelling paradigm that enables multiple clients to jointly train a model by sharing only gradient updates for aggregation, without revealing their local private data. In order to protect the gradient updates which could also be privacy-sensitive, there has been a line of work studying local differential privacy (LDP) mechanisms to provide a formal privacy guarantee. With LDP mechanisms, clients locally perturb their gradient updates before sharing them out for aggregation. However, such approaches are known for greatly degrading the model utility, due to heavy noise addition. To enable a better privacy-utility tradeoff, a recently emerging trend is to apply the shuffle model of DP in FL, which relies on an intermediate shuffling operation on the perturbed gradient updates to achieve privacy amplification. Following this trend, in this paper, we present Camel, a new communication-efficient and maliciously secure FL framework in the shuffle model of DP. Camel first departs from existing works by ambitiously supporting integrity check for the shuffle computation, achieving security against malicious adversary. Specifically, Camel builds on the trending cryptographic primitive of secret-shared shuffle, with custom techniques we develop for optimizing system-wide communication efficiency, and for lightweight integrity checks to harden the security of server-side computation. In addition, we also derive a significantly tighter bound on the privacy loss through analyzing the Renyi differential privacy (RDP) of the overall FL process. Extensive experiments demonstrate that Camel achieves better privacy-utility trade-offs than the state-of-the-art work, with promising performance.
- Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントが、ローカルなプライベートデータを公開することなく、集約のための勾配更新のみを共有することで、モデルを共同でトレーニングすることのできる、魅力的なパラダイムとして急速に成長しています。
プライバシーに敏感な勾配更新を保護するため、正式なプライバシー保証を提供するために、ローカル差分プライバシー(LDP)メカニズムの研究が続けられている。
LDPメカニズムでは、クライアントは集約のために共有する前に、勾配更新をローカルに中断する。
しかし、そのような手法は、重音の付加のため、モデルユーティリティーを著しく劣化させることで知られている。
より優れたプライバシユーティリティトレードオフを実現するために、最近のトレンドは、プライバシーの増幅を実現するために、摂動勾配更新の中間シャッフル操作に依存する、FLにおけるDPのシャッフルモデルを適用することである。
本稿では,DP のシャッフルモデルにおける新しい通信効率と悪意のあるセキュアな FL フレームワークである Camel について述べる。
Camelはまず、シャッフル計算の整合性チェックを野心的にサポートし、悪意のある敵に対するセキュリティを達成することで、既存の作業から脱却する。
具体的には、シークレット共有シャッフルのトレンドとなる暗号プリミティブに基づいて、システム全体の通信効率の最適化と、サーバ側の計算のセキュリティを強化するための軽量な整合性チェックのためのカスタム技術を開発した。
さらに、FLプロセス全体のRenyi差分プライバシー(RDP)を分析することにより、プライバシー損失をはるかに厳しくする。
大規模な実験により、Camelは最先端の作業よりも優れたプライバシーとユーティリティのトレードオフを実現し、有望なパフォーマンスを実現している。
関連論文リスト
- DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。
FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。
このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
論文 参考訳（メタデータ） (2024-10-21T16:25:14Z) - PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。
送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。
我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文 参考訳（メタデータ） (2024-07-12T03:18:08Z) - Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。
ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
論文 参考訳（メタデータ） (2024-06-05T17:41:42Z) - Tighter Privacy Auditing of DP-SGD in the Hidden State Threat Model [40.4617658114104]
本研究では,攻撃者が最終モデルにのみアクセスでき,中間更新の可視性のない脅威モデルに焦点を当てる。
実験の結果,本手法は隠蔽状態モデル監査における従来の試みより一貫して優れていたことがわかった。
我々の結果は、この脅威モデル内で達成可能なプライバシー保証の理解を促進する。
論文 参考訳（メタデータ） (2024-05-23T11:38:38Z) - Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-07T06:07:04Z) - Balancing Privacy and Performance for Private Federated Learning
Algorithms [4.681076651230371]
Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。
FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。
ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
論文 参考訳（メタデータ） (2023-04-11T10:42:11Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。
公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。
提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文 参考訳（メタデータ） (2023-02-02T12:56:46Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - PRECAD: Privacy-Preserving and Robust Federated Learning via
Crypto-Aided Differential Privacy [14.678119872268198]
フェデレートラーニング(FL)は、複数の参加するクライアントがデータセットをローカルに保持し、モデル更新のみを交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。
既存のFLプロトコルの設計は、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱であることが示されている。
我々はPreCADと呼ばれるフレームワークを開発し、同時に差分プライバシー(DP)を実現し、暗号の助けを借りてモデル中毒攻撃に対する堅牢性を高める。
論文 参考訳（メタデータ） (2021-10-22T04:08:42Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳（メタデータ） (2021-06-25T14:47:19Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。