論文の概要: Single SMPC Invocation DPHelmet: Differentially Private Distributed
Learning on a Large Scale
- arxiv url: http://arxiv.org/abs/2211.02003v1
- Date: Thu, 3 Nov 2022 17:16:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 13:00:30.954900
- Title: Single SMPC Invocation DPHelmet: Differentially Private Distributed
Learning on a Large Scale
- Title（参考訳）: 1つのSMPC呼び出しDPHelmet:大規模での微分プライベート分散学習
- Authors: Moritz Kirschte, Sebastian Meiser, Saman Ardalan, Esfandiar Mohammadi
- Abstract要約: 我々は,ベクトルマシン(SVM)をローカルにトレーニングし,その平均値を計算することで,多数のユーザに対してスケーラブルな学習技術を実現することを示す。
我々は、効率的なセキュアなマルチパーティプロトコルを1回だけ呼び出すことで、通信コストを低くする。
実験結果から,データポイントが50ドルである1,000ドルのユーザに対して,提案手法は最先端のスケーラブルな分散学習手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 3.5598681716165808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributing machine learning predictors enables the collection of
large-scale datasets while leaving sensitive raw data at trustworthy sites. We
show that locally training support vector machines (SVMs) and computing their
averages leads to a learning technique that is scalable to a large number of
users, satisfies differential privacy, and is applicable to non-trivial tasks,
such as CIFAR-10. For a large number of participants, communication cost is one
of the main challenges. We achieve a low communication cost by requiring only a
single invocation of an efficient secure multiparty summation protocol. By
relying on state-of-the-art feature extractors (SimCLR), we are able to utilize
differentially private convex learners for non-trivial tasks such as CIFAR-10.
Our experimental results illustrate that for $1{,}000$ users with $50$ data
points each, our scheme outperforms state-of-the-art scalable distributed
learning methods (differentially private federated learning, short DP-FL) while
requiring around $500$ times fewer communication costs: For CIFAR-10, we
achieve a classification accuracy of $79.7\,\%$ for an $\varepsilon = 0.59$
while DP-FL achieves $57.6\,\%$. More generally, we prove learnability
properties for the average of such locally trained models: convergence and
uniform stability. By only requiring strongly convex, smooth, and
Lipschitz-continuous objective functions, locally trained via stochastic
gradient descent (SGD), we achieve a strong utility-privacy tradeoff.
- Abstract（参考訳）: 機械学習予測器の分散は、信頼できるサイトにセンシティブな生データを残しながら、大規模なデータセットの収集を可能にする。
局所的な学習支援ベクトルマシン(SVM)と,それらの平均値の計算は,多数のユーザに対してスケーラブルで,差分プライバシーを満足し,CIFAR-10のような非自明なタスクに適用可能な学習技術につながることを示す。
多くの参加者にとって、コミュニケーションコストは大きな課題の1つです。
我々は、効率的なセキュアなマルチパーティ要約プロトコルを1回だけ呼び出すことで、通信コストを低くする。
最先端機能抽出器(SimCLR)を利用することで,CIFAR-10のような非自明なタスクに対して,差分プライベートな凸学習者を利用することができる。
実験の結果、各データポイントが$50$を持つ${,}000$ユーザの場合、このスキームは最先端のスケーラブルな分散学習手法(異なる意味ではプライベートなフェデレーション学習、短いdp-fl)よりも優れており、通信コストが約$5倍削減されていることがわかった。
より一般に、そのような局所的に訓練されたモデルの平均的な可学習性(収束と均一安定性)を証明する。
強凸,滑らか,リプシッツ連続目的関数を必要とするだけで,局所的に確率的勾配降下 (sgd) によって訓練されるので,高いユーティリティ・プライバシートレードオフが得られる。
関連論文リスト
- Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。
この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
論文 参考訳（メタデータ） (2024-05-04T11:22:53Z) - A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning [2.8266810371534152]
線形+ソフトマックス最終層を持つ非ネイティブなディープラーニングモデルには問題がある。
ラテント空間は条件付き確率$p(Y|X)$だけを予測するが、完全関節分布$p(Y,X)$は予測しない。
このことは、幻覚、不明瞭なバイアス、大規模なデータセットへの依存など、多くの問題に影響を及ぼす過信モデルをさらに悪化させる。
論文 参考訳（メタデータ） (2024-04-27T18:41:32Z) - Contextual Combinatorial Bandits with Probabilistically Triggered Arms [55.9237004478033]
確率的に誘発される腕(C$2$MAB-T)を様々な滑らかさ条件下で検討した。
トリガー変調 (TPM) 条件の下では、C$2$-UC-Tアルゴリズムを考案し、後悔すべき$tildeO(dsqrtT)$を導出する。
論文 参考訳（メタデータ） (2023-03-30T02:51:00Z) - Near Sample-Optimal Reduction-based Policy Learning for Average Reward
MDP [58.13930707612128]
この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。
我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
論文 参考訳（メタデータ） (2022-12-01T15:57:58Z) - Discrete Distribution Estimation under User-level Local Differential
Privacy [37.65849910114053]
ユーザレベルの局所差分プライバシー(LDP)に基づく離散分布推定について検討する。
ユーザレベルの$varepsilon$-LDPでは、各ユーザは$mge1$サンプルを持ち、すべての$m$サンプルのプライバシを同時に保存する必要がある。
論文 参考訳（メタデータ） (2022-11-07T18:29:32Z) - Private Non-Convex Federated Learning Without a Trusted Server [7.971065005161566]
非信頼の損失関数を持つクロスサイロ学習(FL)のための新しいアルゴリズムと、他のサイロを信頼していない人のデータを提案する。
我々のアルゴリズムは、凸性やi.d.データを仮定することなく、ISRL-DP FLの最適凸、等質(すなわち等質)を達成する。
数値実験により,我々のアルゴリズムは,ほとんどのプライバシレベルのベースラインよりも精度が高いことがわかった。
論文 参考訳（メタデータ） (2022-03-13T19:17:15Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。