論文の概要: Private Distribution Learning with Public Data: The View from Sample
Compression
- arxiv url: http://arxiv.org/abs/2308.06239v1
- Date: Fri, 11 Aug 2023 17:15:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 13:27:07.910394
- Title: Private Distribution Learning with Public Data: The View from Sample
Compression
- Title（参考訳）: 公開データを用いた私的流通学習 : サンプル圧縮の視点から
- Authors: Shai Ben-David, Alex Bie, Cl\'ement L. Canonne, Gautam Kamath, Vikrant
Singhal
- Abstract要約: 公共データへのアクセスによる個人分布学習の課題について検討する。
我々は,クラス$mathcal Q$のパブリックな学習性は,サンプル圧縮スキームの存在に関係していることを示す。
- 参考スコア（独自算出の注目度）: 14.256058610720963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of private distribution learning with access to public
data. In this setup, which we refer to as public-private learning, the learner
is given public and private samples drawn from an unknown distribution $p$
belonging to a class $\mathcal Q$, with the goal of outputting an estimate of
$p$ while adhering to privacy constraints (here, pure differential privacy)
only with respect to the private samples.
We show that the public-private learnability of a class $\mathcal Q$ is
connected to the existence of a sample compression scheme for $\mathcal Q$, as
well as to an intermediate notion we refer to as list learning. Leveraging this
connection: (1) approximately recovers previous results on Gaussians over
$\mathbb R^d$; and (2) leads to new ones, including sample complexity upper
bounds for arbitrary $k$-mixtures of Gaussians over $\mathbb R^d$, results for
agnostic and distribution-shift resistant learners, as well as closure
properties for public-private learnability under taking mixtures and products
of distributions. Finally, via the connection to list learning, we show that
for Gaussians in $\mathbb R^d$, at least $d$ public samples are necessary for
private learnability, which is close to the known upper bound of $d+1$ public
samples.
- Abstract（参考訳）: 公共データへのアクセスによる個人分布学習の課題について検討する。
パブリック・プライベート・ラーニング(public-private learning)と呼ぶこの設定では、学習者は、非公開のサンプルに対してのみプライバシの制約(ここでは純粋な差分プライバシー)に固執しながら、クラス$\mathcal q$に属する未知のディストリビューション$p$から、パブリックとプライベートのサンプルを与えられる。
クラス $\mathcal q$ のパブリック・プライベート学習性は、$\mathcal q$ のサンプル圧縮スキームの存在と、我々がリスト学習と呼ぶ中間概念と関連していることを示す。
この接続を利用すると、(1)$\mathbb R^d$, (2)ガウスの以前の結果を約回復し、(2)ガウスの任意の$k$-mixturesに対するサンプル複雑性上限を$\mathbb R^d$, result for agnostic and distribution-shift resistant learners, and also closure properties for public-private learnability under takes and product of distributions。
最後に、リスト学習への接続を通して、$\mathbb R^d$のガウスにとって、少なくとも$d$公開サンプルは、既知の$d+1$公開サンプルの上限に近い、プライベートな学習性に必要であることを示す。
関連論文リスト
- Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。
本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-01T17:59:53Z) - Mixtures of Gaussians are Privately Learnable with a Polynomial Number of Samples [9.649879910148854]
差分プライバシー(DP)制約下におけるガウシアン混合量の推定問題について検討する。
主な結果は、$textpoly(k,d,1/alpha,1/varepsilon,log (1/delta))$サンプルが$k$ Gaussians in $mathbbRd$から$alpha$までを推定するのに十分であることです。
これは GMM の構造的仮定を一切含まない問題に対する最初の有限標本複雑性上界である。
論文 参考訳（メタデータ） (2023-09-07T17:02:32Z) - Differentially-Private Bayes Consistency [70.92545332158217]
差分プライバシー(DP)を満たすベイズ一貫した学習ルールを構築する。
ほぼ最適なサンプル複雑性を持つ半教師付き環境で,任意のVCクラスをプライベートに学習できることを実証する。
論文 参考訳（メタデータ） (2022-12-08T11:57:30Z) - Differentially Private Sampling from Distributions [1.452875650827562]
一部の体制では、プライベートサンプリングは非プライベートに$P$の記述を学ぶよりも少ない観察を必要とする。
分布のクラスによっては,非私的学習と比較して,私的学習に必要な観測回数のオーバーヘッドは,私的サンプリングに必要な観測回数によって完全に把握される。
論文 参考訳（メタデータ） (2022-11-15T14:56:42Z) - New Lower Bounds for Private Estimation and a Generalized Fingerprinting
Lemma [10.176795938619417]
統計的推定タスクの新たな下限を$(varepsilon, delta)$-differential privacyの制約の下で証明する。
フロベニウスノルムの推定には$Omega(d2)$サンプルが必要であり、スペクトルノルムでは$Omega(d3/2)$サンプルが必要である。
論文 参考訳（メタデータ） (2022-05-17T17:55:10Z) - Nonparametric extensions of randomized response for private confidence sets [51.75485869914048]
本研究は,局所的差分プライバシー(LDP)の制約の下で,集団平均の非パラメトリック,非漸近的統計的推測を行う手法を導出する。
民営化データへのアクセスのみを与えられた場合、$mustar$に対して信頼区間(CI)と時間一様信頼シーケンス(CS)を提示する。
論文 参考訳（メタデータ） (2022-02-17T16:04:49Z) - Infinitely Divisible Noise in the Low Privacy Regime [9.39772079241093]
ユーザ間でデータを分散し、共有しないフェデレーション学習は、プライバシ保護機械学習に対する一般的なアプローチとして現れている。
実数値データに対して、最初の可除な無限ノイズ分布を提示し、$varepsilon$-differential privacyを実現する。
論文 参考訳（メタデータ） (2021-10-13T08:16:43Z) - Privately Learning Mixtures of Axis-Aligned Gaussians [12.77304082363491]
ここでは,$widetildeO(k2 d log3/2 (1/delta) / alpha2 varepsilon)$サンプルは,$k$軸整列ガウスの混合を学習するのに十分であることを示す。
混合分布をプライベートに学習する新しい手法を設計する。
論文 参考訳（メタデータ） (2021-06-03T22:34:23Z) - On the Intrinsic Differential Privacy of Bagging [69.70602220716718]
我々は、Bagingが、同じプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも、はるかに高い精度を達成することを示す。
実験結果から,Bagingは,同一のプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも格段に高い精度を達成できることが示された。
論文 参考訳（メタデータ） (2020-08-22T14:17:55Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - Private Query Release Assisted by Public Data [96.6174729958211]
本研究では,公開データへのアクセスを補助する差分プライベートクエリリリースの問題について検討する。
我々は、$d/alpha$公開サンプルと$sqrtpd3/2/alpha2$プライベートサンプルのみを用いて、有限VC次元のクエリクラス$mathcalH$の問題を解くことができることを示した。
論文 参考訳（メタデータ） (2020-04-23T02:46:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。