論文の概要: Single SMPC Invocation DPHelmet: Differentially Private Distributed
Learning on a Large Scale
- arxiv url: http://arxiv.org/abs/2211.02003v1
- Date: Thu, 3 Nov 2022 17:16:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 13:00:30.954900
- Title: Single SMPC Invocation DPHelmet: Differentially Private Distributed
Learning on a Large Scale
- Title(参考訳): 1つのSMPC呼び出しDPHelmet:大規模での微分プライベート分散学習
- Authors: Moritz Kirschte, Sebastian Meiser, Saman Ardalan, Esfandiar Mohammadi
- Abstract要約: 我々は,ベクトルマシン(SVM)をローカルにトレーニングし,その平均値を計算することで,多数のユーザに対してスケーラブルな学習技術を実現することを示す。
我々は、効率的なセキュアなマルチパーティプロトコルを1回だけ呼び出すことで、通信コストを低くする。
実験結果から,データポイントが50ドルである1,000ドルのユーザに対して,提案手法は最先端のスケーラブルな分散学習手法よりも優れていた。
- 参考スコア(独自算出の注目度): 3.5598681716165808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributing machine learning predictors enables the collection of
large-scale datasets while leaving sensitive raw data at trustworthy sites. We
show that locally training support vector machines (SVMs) and computing their
averages leads to a learning technique that is scalable to a large number of
users, satisfies differential privacy, and is applicable to non-trivial tasks,
such as CIFAR-10. For a large number of participants, communication cost is one
of the main challenges. We achieve a low communication cost by requiring only a
single invocation of an efficient secure multiparty summation protocol. By
relying on state-of-the-art feature extractors (SimCLR), we are able to utilize
differentially private convex learners for non-trivial tasks such as CIFAR-10.
Our experimental results illustrate that for $1{,}000$ users with $50$ data
points each, our scheme outperforms state-of-the-art scalable distributed
learning methods (differentially private federated learning, short DP-FL) while
requiring around $500$ times fewer communication costs: For CIFAR-10, we
achieve a classification accuracy of $79.7\,\%$ for an $\varepsilon = 0.59$
while DP-FL achieves $57.6\,\%$. More generally, we prove learnability
properties for the average of such locally trained models: convergence and
uniform stability. By only requiring strongly convex, smooth, and
Lipschitz-continuous objective functions, locally trained via stochastic
gradient descent (SGD), we achieve a strong utility-privacy tradeoff.
- Abstract(参考訳): 機械学習予測器の分散は、信頼できるサイトにセンシティブな生データを残しながら、大規模なデータセットの収集を可能にする。
局所的な学習支援ベクトルマシン(SVM)と,それらの平均値の計算は,多数のユーザに対してスケーラブルで,差分プライバシーを満足し,CIFAR-10のような非自明なタスクに適用可能な学習技術につながることを示す。
多くの参加者にとって、コミュニケーションコストは大きな課題の1つです。
我々は、効率的なセキュアなマルチパーティ要約プロトコルを1回だけ呼び出すことで、通信コストを低くする。
最先端機能抽出器(SimCLR)を利用することで,CIFAR-10のような非自明なタスクに対して,差分プライベートな凸学習者を利用することができる。
実験の結果、各データポイントが$50$を持つ${,}000$ユーザの場合、このスキームは最先端のスケーラブルな分散学習手法(異なる意味ではプライベートなフェデレーション学習、短いdp-fl)よりも優れており、通信コストが約$5倍削減されていることがわかった。
より一般に、そのような局所的に訓練されたモデルの平均的な可学習性(収束と均一安定性)を証明する。
強凸,滑らか,リプシッツ連続目的関数を必要とするだけで,局所的に確率的勾配降下 (sgd) によって訓練されるので,高いユーティリティ・プライバシートレードオフが得られる。
関連論文リスト
- Share Your Representation Only: Guaranteed Improvement of the
Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。
本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。
同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
論文 参考訳(メタデータ) (2023-09-11T14:46:55Z) - Differentially Private Decentralized Deep Learning with Consensus
Algorithms [10.208363125551555]
協調的な分散ディープラーニングは、通信エージェント間の直接的な情報交換に依存している。
信頼できない隣人エージェントとのパラメータ共有は、ローカルデータセットに関する悪用可能な情報を漏洩させる可能性がある。
協調訓練の前後で各エージェントの局所的データセットを確保できる分別的私的分散学習を導入する。
論文 参考訳(メタデータ) (2023-06-24T07:46:00Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳(メタデータ) (2023-01-22T17:12:58Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳(メタデータ) (2022-12-26T15:13:13Z) - Learning to Generate Image Embeddings with User-level Differential
Privacy [31.797461992234457]
DP-FedEmbは、ユーザ毎の感度制御とノイズ付加を備えたフェデレーション学習アルゴリズムの一種である。
数百万のユーザがトレーニングに参加可能な場合,ユーティリティの低下を5%以内でコントロールしながら,強力なユーザレベルのDP保証を$epsilon4$で実現できることを示す。
論文 参考訳(メタデータ) (2022-11-20T01:59:37Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - The Fundamental Price of Secure Aggregation in Differentially Private
Federated Learning [34.630300910399036]
我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。
我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。
これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
論文 参考訳(メタデータ) (2022-03-07T22:56:09Z) - SPATL: Salient Parameter Aggregation and Transfer Learning for
Heterogeneous Clients in Federated Learning [3.5394650810262336]
効率的なフェデレーション学習は、エッジデバイス上でAIモデルをトレーニングしデプロイする上で重要な課題の1つだ。
フェデレーション学習におけるデータのプライバシの維持は、データの均一性、高価な通信コスト、限られたリソースなど、いくつかの課題を引き起こす。
本稿では,ローカルクライアントの深層強化学習に基づく有能なパラメータ選択エージェントを提案し,選択した有能なパラメータを中央サーバに集約する。
論文 参考訳(メタデータ) (2021-11-29T06:28:05Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。