論文の概要: Learning with User-Level Privacy

• arxiv url: http://arxiv.org/abs/2102.11845v1
• Date: Tue, 23 Feb 2021 18:25:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 09:58:20.766877
• Title: Learning with User-Level Privacy
• Title（参考訳）: ユーザーレベルのプライバシーで学ぶ
• Authors: Daniel Levy, Ziteng Sun, Kareem Amin, Satyen Kale, Alex Kulesza, Mehryar Mohri, Ananda Theertha Suresh
• Abstract要約: ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
• 参考スコア（独自算出の注目度）: 61.62978104304273
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We propose and analyze algorithms to solve a range of learning tasks under user-level differential privacy constraints. Rather than guaranteeing only the privacy of individual samples, user-level DP protects a user's entire contribution ($m \ge 1$ samples), providing more stringent but more realistic protection against information leaks. We show that for high-dimensional mean estimation, empirical risk minimization with smooth losses, stochastic convex optimization, and learning hypothesis class with finite metric entropy, the privacy cost decreases as $O(1/\sqrt{m})$ as users provide more samples. In contrast, when increasing the number of users $n$, the privacy cost decreases at a faster $O(1/n)$ rate. We complement these results with lower bounds showing the worst-case optimality of our algorithm for mean estimation and stochastic convex optimization. Our algorithms rely on novel techniques for private mean estimation in arbitrary dimension with error scaling as the concentration radius $\tau$ of the distribution rather than the entire range. Under uniform convergence, we derive an algorithm that privately answers a sequence of $K$ adaptively chosen queries with privacy cost proportional to $\tau$, and apply it to solve the learning tasks we consider.
• Abstract（参考訳）: ユーザレベルの差分プライバシ制約下での学習タスクを解くためのアルゴリズムを提案し,解析する。 個々のサンプルのプライバシーだけを保証するのではなく、ユーザーレベルのDPはユーザーのコントリビューション全体($m \ge 1$サンプル)を保護し、情報漏洩に対するより厳密でより現実的な保護を提供します。 高次元平均推定、滑らかな損失を伴う経験的リスク最小化、確率的凸最適化、有限な計量エントロピーを持つ学習仮説クラスでは、ユーザがより多くのサンプルを提供すれば、プライバシコストは$o(1/\sqrt{m})$となる。 対照的に、$n$のユーザ数を増やすと、プライバシコストはより高速な$O(1/n)$レートで減少する。 平均推定と確率凸最適化のためのアルゴリズムの最悪の最適性を示す下限でこれらの結果を補完する。 私たちのアルゴリズムは、全範囲ではなく、分布の濃度半径 $\tau$ として誤差スケーリングで任意の次元のプライベート平均推定のための新しい技術に依存します。 均一収束の下では、プライバシコストが$\tau$に比例した、適応的に選択されたクエリ列にプライベートに答えるアルゴリズムを導出し、それを適用して検討する学習課題を解決する。

関連論文リスト

• Efficient Sparse Least Absolute Deviation Regression with Differential Privacy [10.414082115202003]
  頑健な回帰問題に対する高速なプライバシー保護学習ソリューションを開発した。 本アルゴリズムは,スパースLAD問題をペナル化最小二乗推定問題として修正し,高速な推定を実現する。 我々のアルゴリズムは、最先端のプライバシ保存回帰アルゴリズムと比較して、より優れたプライバシーと統計的精度のトレードオフを実現することができることを示す。
  論文  参考訳（メタデータ） (2024-01-02T17:13:34Z)
• A Generalized Shuffle Framework for Privacy Amplification: Strengthening Privacy Guarantees and Enhancing Utility [4.7712438974100255]
  パーソナライズされたプライバシパラメータで$(epsilon_i,delta_i)$-PLDP設定をシャッフルする方法を示す。 shuffled $(epsilon_i,delta_i)$-PLDP process approximately saves $mu$-Gaussian Differential Privacy with mu = sqrtfrac2sum_i=1n frac1-delta_i1+eepsilon_i-max_ifrac1-delta_i1+e
  論文  参考訳（メタデータ） (2023-12-22T02:31:46Z)
• Discrete Distribution Estimation under User-level Local Differential Privacy [37.65849910114053]
  ユーザレベルの局所差分プライバシー(LDP)に基づく離散分布推定について検討する。 ユーザレベルの$varepsilon$-LDPでは、各ユーザは$mge1$サンプルを持ち、すべての$m$サンプルのプライバシを同時に保存する必要がある。
  論文  参考訳（メタデータ） (2022-11-07T18:29:32Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Scalable Differentially Private Clustering via Hierarchically Separated Trees [82.69664595378869]
  我々は,最大$O(d3/2log n)cdot OPT + O(k d2 log2 n / epsilon2)$,$epsilon$はプライバシ保証であることを示す。 最悪の場合の保証は、最先端のプライベートクラスタリング手法よりも悪いが、提案するアルゴリズムは実用的である。
  論文  参考訳（メタデータ） (2022-06-17T09:24:41Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Tight and Robust Private Mean Estimation with Few Users [16.22135057266913]
  ユーザレベルの差分プライバシーに基づく高次元平均推定について検討する。 可能な限り少数のユーザを使って、$(eps,delta)$-differentially privateメカニズムを設計します。
  論文  参考訳（メタデータ） (2021-10-22T16:02:21Z)
• Output Perturbation for Differentially Private Convex Optimization with Improved Population Loss Bounds, Runtimes and Applications to Private Adversarial Training [12.386462516398469]
  強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。 我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。 我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
  論文  参考訳（メタデータ） (2021-02-09T08:47:06Z)
• Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling [49.43288037509783]
  ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。 私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
  論文  参考訳（メタデータ） (2020-12-23T17:07:26Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。