論文の概要: Private, Efficient, and Accurate: Protecting Models Trained by
Multi-party Learning with Differential Privacy
- arxiv url: http://arxiv.org/abs/2208.08662v1
- Date: Thu, 18 Aug 2022 06:48:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-19 14:10:02.793162
- Title: Private, Efficient, and Accurate: Protecting Models Trained by
Multi-party Learning with Differential Privacy
- Title（参考訳）: プライベートで効率的、正確:ディファレンシャルプライバシを備えたマルチパーティ学習によるモデル保護
- Authors: Wenqiang Ruan and Mingxin Xu and Wenjing Fang and Li Wang and Lei Wang
and Weili Han
- Abstract要約: セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。
TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。
PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
- 参考スコア（独自算出の注目度）: 8.8480262507008
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Secure multi-party computation-based machine learning, referred to as MPL,
has become an important technology to utilize data from multiple parties with
privacy preservation. While MPL provides rigorous security guarantees for the
computation process, the models trained by MPL are still vulnerable to attacks
that solely depend on access to the models. Differential privacy could help to
defend against such attacks. However, the accuracy loss brought by differential
privacy and the huge communication overhead of secure multi-party computation
protocols make it highly challenging to balance the 3-way trade-off between
privacy, efficiency, and accuracy.
In this paper, we are motivated to resolve the above issue by proposing a
solution, referred to as PEA (Private, Efficient, Accurate), which consists of
a secure DPSGD protocol and two optimization methods. First, we propose a
secure DPSGD protocol to enforce DPSGD in secret sharing-based MPL frameworks.
Second, to reduce the accuracy loss led by differential privacy noise and the
huge communication overhead of MPL, we propose two optimization methods for the
training process of MPL: (1) the data-independent feature extraction method,
which aims to simplify the trained model structure; (2) the local data-based
global model initialization method, which aims to speed up the convergence of
the model training. We implement PEA in two open-source MPL frameworks:
TF-Encrypted and Queqiao. The experimental results on various datasets
demonstrate the efficiency and effectiveness of PEA. E.g. when ${\epsilon}$ =
2, we can train a differentially private classification model with an accuracy
of 88% for CIFAR-10 within 7 minutes under the LAN setting. This result
significantly outperforms the one from CryptGPU, one SOTA MPL framework: it
costs more than 16 hours to train a non-private deep neural network model on
CIFAR-10 with the same accuracy.
- Abstract（参考訳）: MPLと呼ばれるセキュアなマルチパーティ計算ベースの機械学習は、プライバシ保護を伴う複数のパーティのデータを活用する上で重要な技術となっている。
MPLは計算プロセスに対して厳格なセキュリティ保証を提供するが、MPLによって訓練されたモデルは、モデルへのアクセスのみに依存する攻撃に対して依然として脆弱である。
差別的なプライバシーは、このような攻撃から守るのに役立つ。
しかし、異なるプライバシによる精度の低下とセキュアなマルチパーティ計算プロトコルの通信オーバーヘッドにより、プライバシ、効率、正確性の3方向トレードオフのバランスをとることは極めて困難である。
本稿では、セキュアDPSGDプロトコルと2つの最適化方法からなるPEA(Private, Efficient, Accurate)と呼ばれるソリューションを提案することにより、上記の問題を解決する動機付けを行う。
まず、秘密共有ベースのMPLフレームワークでDPSGDを強制するセキュアなDPSGDプロトコルを提案する。
第2に、差分プライバシーノイズとMPLの通信オーバーヘッドによる精度損失を低減するため、MPLのトレーニングプロセスにおいて、(1)訓練されたモデル構造を簡素化することを目的としたデータ独立性特徴抽出法、(2)モデルトレーニングの収束を高速化することを目的としたローカルデータベースグローバルモデル初期化法という2つの最適化手法を提案する。
TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。
各種データセットにおける実験結果は,peaの効率と有効性を示す。
例えば${\epsilon}$ = 2 の場合、LAN設定下 7 分以内に CIFAR-10 の精度が 88% の差分プライベート分類モデルを訓練することができる。
この結果は1つのsata mplフレームワークであるcryptgpuのそれを大きく上回っている。 同じ精度でcifar-10上の非プライベートなディープニューラルネットワークモデルをトレーニングするのに16時間以上かかります。
関連論文リスト
- CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。
相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。
また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
論文 参考訳（メタデータ） (2024-09-20T00:23:44Z) - Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T15:47:00Z) - Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-07T06:07:04Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - Federated Learning with Sparsified Model Perturbation: Improving
Accuracy under Client-Level Differential Privacy [27.243322019117144]
フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。
トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。
差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。
本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
論文 参考訳（メタデータ） (2022-02-15T04:05:42Z) - Training Differentially Private Models with Secure Multiparty
Computation [12.628792164922864]
複数のデータ所有者に起源を持つデータから機械学習モデルを学習する問題に対処する。
差分プライバシー(DP)に基づく既存のソリューションは、精度の低下を犠牲にしてこれを達成している。
提案手法はモデルトレーニングのためのMPCプロトコルと,学習したモデル係数をLaplaceノイズで摂動するMPCプロトコルに依存している。
論文 参考訳（メタデータ） (2022-02-05T20:00:37Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳（メタデータ） (2021-06-20T15:43:54Z) - Covert Model Poisoning Against Federated Learning: Algorithm Design and
Optimization [76.51980153902774]
フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。
本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。
実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
論文 参考訳（メタデータ） (2021-01-28T03:28:18Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。