論文の概要: SPEED: Secure, PrivatE, and Efficient Deep learning
- arxiv url: http://arxiv.org/abs/2006.09475v2
- Date: Fri, 26 Mar 2021 17:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 21:42:13.027527
- Title: SPEED: Secure, PrivatE, and Efficient Deep learning
- Title(参考訳): SPEED: セキュア、PrivatE、そして効率的なディープラーニング
- Authors: Arnaud Grivet S\'ebert, Rafael Pinot, Martin Zuber, C\'edric
Gouy-Pailler, Renaud Sirdey
- Abstract要約: 私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
- 参考スコア(独自算出の注目度): 2.283665431721732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a deep learning framework able to deal with strong privacy
constraints. Based on collaborative learning, differential privacy and
homomorphic encryption, the proposed approach advances state-of-the-art of
private deep learning against a wider range of threats, in particular the
honest-but-curious server assumption. We address threats from both the
aggregation server, the global model and potentially colluding data holders.
Building upon distributed differential privacy and a homomorphic argmax
operator, our method is specifically designed to maintain low communication
loads and efficiency. The proposed method is supported by carefully crafted
theoretical results. We provide differential privacy guarantees from the point
of view of any entity having access to the final model, including colluding
data holders, as a function of the ratio of data holders who kept their noise
secret. This makes our method practical to real-life scenarios where data
holders do not trust any third party to process their datasets nor the other
data holders. Crucially the computational burden of the approach is maintained
reasonable, and, to the best of our knowledge, our framework is the first one
to be efficient enough to investigate deep learning applications while
addressing such a large scope of threats. To assess the practical usability of
our framework, experiments have been carried out on image datasets in a
classification context. We present numerical results that show that the
learning procedure is both accurate and private.
- Abstract(参考訳): 我々は,強力なプライバシー制約に対処するための深層学習フレームワークを提案する。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は、より広範な脅威、特に誠実だが正確なサーバ仮定に対して、プライベートディープラーニングの最先端技術を推進する。
集約サーバ、グローバルモデル、および潜在的に衝突するデータホルダからの脅威に対処する。
本手法は分散微分プライバシーと準同型argmax演算子に基づいて,低通信負荷と効率性を維持するために設計されている。
提案手法は注意深い理論結果によって支持される。
我々は、データホルダを含む最終モデルへのアクセス権を有するすべてのエンティティの観点から、ノイズを秘密に保持するデータホルダの比率の関数として、差分プライバシー保証を提供する。
これにより、データ保持者がデータセットや他のデータ保持者を処理するために、サードパーティを信頼していない実生活シナリオに本手法を適用できます。
このアプローチの計算的負担は極めて合理的であり、私たちの知る限り、我々のフレームワークは、このような大きな脅威の範囲に対処しながら、ディープラーニングアプリケーションを調べるのに十分な効率性を持つ最初のものである。
本フレームワークの実用性を評価するため,分類コンテキストにおける画像データセットを用いた実験を行った。
本稿では,学習手順が正確かつプライベートであることを示す数値結果を示す。
関連論文リスト
- FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。
FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。
本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
論文 参考訳(メタデータ) (2024-03-10T08:41:22Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Locally Differentially Private Distributed Online Learning with Guaranteed Optimality [1.800614371653704]
本稿では,分散オンライン学習における差分プライバシーと学習精度を両立させる手法を提案する。
予想される即時後悔の減少を確実にする一方で、このアプローチは有限累積プライバシー予算を同時に確保することができる。
私たちの知る限りでは、このアルゴリズムは厳密な局所的な差分プライバシーと学習精度の両方を確実にする最初のアルゴリズムです。
論文 参考訳(メタデータ) (2023-06-25T02:05:34Z) - Privacy-Preserving Distributed Expectation Maximization for Gaussian
Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。
我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。
数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-09-16T09:58:03Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳(メタデータ) (2022-07-19T05:47:30Z) - Federated Deep Learning with Bayesian Privacy [28.99404058773532]
フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。
ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。
差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
論文 参考訳(メタデータ) (2021-09-27T12:48:40Z) - Privacy-Preserving Federated Learning on Partitioned Attributes [6.661716208346423]
フェデレーション学習は、ローカルデータやモデルを公開することなく、協調的なトレーニングを促進する。
ローカルモデルをチューニングし、プライバシー保護された中間表現をリリースする逆学習ベースの手順を紹介します。
精度低下を緩和するために,前方後方分割アルゴリズムに基づく防御法を提案する。
論文 参考訳(メタデータ) (2021-04-29T14:49:14Z) - On Deep Learning with Label Differential Privacy [54.45348348861426]
ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。
本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
論文 参考訳(メタデータ) (2021-02-11T15:09:06Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳(メタデータ) (2020-07-10T18:15:10Z) - TIPRDC: Task-Independent Privacy-Respecting Data Crowdsourcing Framework
for Deep Learning with Anonymized Intermediate Representations [49.20701800683092]
本稿では,匿名化中間表現を用いたタスク非依存型プライバシ参照データクラウドソーシングフレームワークTIPRDCを提案する。
このフレームワークの目的は、中間表現からプライバシー情報を隠蔽できる機能抽出器を学習することであり、データコレクターの生データに埋め込まれた元の情報を最大限に保持し、未知の学習タスクを達成することである。
論文 参考訳(メタデータ) (2020-05-23T06:21:26Z) - Privacy-preserving Traffic Flow Prediction: A Federated Learning
Approach [61.64006416975458]
本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。
FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。
FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
論文 参考訳(メタデータ) (2020-03-19T13:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。