論文の概要: Training Differentially Private Models with Secure Multiparty
Computation
- arxiv url: http://arxiv.org/abs/2202.02625v1
- Date: Sat, 5 Feb 2022 20:00:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 18:21:29.199922
- Title: Training Differentially Private Models with Secure Multiparty
Computation
- Title(参考訳): セキュアなマルチパーティ計算による個人モデルの訓練
- Authors: Sikha Pentyala, Davis Railsback, Ricardo Maia, Rafael Dowsley, David
Melanson, Anderson Nascimento, Martine De Cock
- Abstract要約: 複数のデータ所有者に起源を持つデータから機械学習モデルを学習する問題に対処する。
差分プライバシー(DP)に基づく既存のソリューションは、精度の低下を犠牲にしてこれを達成している。
提案手法はモデルトレーニングのためのMPCプロトコルと,学習したモデル係数をLaplaceノイズで摂動するMPCプロトコルに依存している。
- 参考スコア(独自算出の注目度): 12.628792164922864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of learning a machine learning model from training
data that originates at multiple data owners while providing formal privacy
guarantees regarding the protection of each owner's data. Existing solutions
based on Differential Privacy (DP) achieve this at the cost of a drop in
accuracy. Solutions based on Secure Multiparty Computation (MPC) do not incur
such accuracy loss but leak information when the trained model is made publicly
available. We propose an MPC solution for training DP models. Our solution
relies on an MPC protocol for model training, and an MPC protocol for
perturbing the trained model coefficients with Laplace noise in a
privacy-preserving manner. The resulting MPC+DP approach achieves higher
accuracy than a pure DP approach while providing the same formal privacy
guarantees. Our work obtained first place in the iDASH2021 Track III
competition on confidential computing for secure genome analysis.
- Abstract(参考訳): 本稿では,複数のデータ所有者を起源とするトレーニングデータから,各所有者のデータ保護に関する形式的プライバシー保証を提供しながら,機械学習モデルを学ぶ問題に対処する。
ディファレンシャルプライバシ(dp)に基づく既存のソリューションは、精度の低下を犠牲にしてこれを達成する。
Secure Multiparty Computation (MPC) に基づくソリューションは、そのような精度の損失を生じさせるのではなく、トレーニングされたモデルが公開されているときにリーク情報をもたらす。
DPモデルのトレーニングのためのMPCソリューションを提案する。
提案手法は,モデルトレーニングのためのMPCプロトコルと,学習したモデル係数をLaplaceノイズでプライバシー保護的に摂動するMPCプロトコルに依存している。
結果として得られるMPC+DPアプローチは、同じ正式なプライバシー保証を提供しながら、純粋なDPアプローチよりも高い精度を達成する。
我々の研究は、セキュアゲノム解析のための機密コンピューティングに関するidash2021トラックiiiコンペティションで1位を獲得した。
関連論文リスト
- Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。
提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文 参考訳(メタデータ) (2024-11-04T21:27:06Z) - Too Good to be True? Turn Any Model Differentially Private With DP-Weights [0.0]
トレーニング後のモデルの重みに差分プライバシーノイズを適用する,画期的なアプローチを導入する。
この新しいアプローチのプライバシ境界に対する包括的数学的証明を提供する。
我々は,メンバシップ推論攻撃とパフォーマンス評価を用いて,その効果を実証的に評価する。
論文 参考訳(メタデータ) (2024-06-27T19:58:11Z) - Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。
DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。
公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。
ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
論文 参考訳(メタデータ) (2024-02-28T23:26:27Z) - LLM-based Privacy Data Augmentation Guided by Knowledge Distillation
with a Distribution Tutor for Medical Text Classification [67.92145284679623]
ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。
理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
論文 参考訳(メタデータ) (2024-02-26T11:52:55Z) - Discriminative Adversarial Privacy: Balancing Accuracy and Membership
Privacy in Neural Networks [7.0895962209555465]
DAP(Dariminative Adversarial Privacy)は、モデルの性能、速度、プライバシのバランスを達成するために設計された学習技術である。
DAPは、MIAの誤差を最大化しながら予測誤差を最小化できる新しい損失関数に基づく敵の訓練に依存している。
さらに、パフォーマンスプライバシのトレードオフを捉えるために、AOP(Acuracy Over Privacy)と呼ばれる新しいメトリクスを紹介します。
論文 参考訳(メタデータ) (2023-06-05T17:25:45Z) - Private, Efficient, and Accurate: Protecting Models Trained by
Multi-party Learning with Differential Privacy [8.8480262507008]
セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。
TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。
PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
論文 参考訳(メタデータ) (2022-08-18T06:48:25Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Personalized PATE: Differential Privacy for Machine Learning with
Individual Privacy Guarantees [1.2691047660244335]
トレーニングデータ内に、パーソナライズされたプライバシ保証の異なるMLモデルのトレーニングを支援する3つの新しい方法を提案する。
実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
論文 参考訳(メタデータ) (2022-02-21T20:16:27Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T01:45:27Z) - PRICURE: Privacy-Preserving Collaborative Inference in a Multi-Party
Setting [3.822543555265593]
本稿では,セキュアなマルチパーティ計算とディファレンシャルプライバシの補完的強みを組み合わせたシステムpricureを提案する。
PRICUREは、複数のモデルオーナー間のプライバシー保護共同予測を可能にします。
ベンチマーク医療画像分類データセットを含む4つのデータセットのニューラルネットワーク上でPRICUREを評価する。
論文 参考訳(メタデータ) (2021-02-19T05:55:53Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。