論文の概要: Differentially Private Release and Learning of Threshold Functions
- arxiv url: http://arxiv.org/abs/1504.07553v2
- Date: Thu, 19 Dec 2024 23:22:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-12 15:57:51.987442
- Title: Differentially Private Release and Learning of Threshold Functions
- Title(参考訳): 閾値関数の微分プライベートリリースと学習
- Authors: Mark Bun, Kobbi Nissim, Uri Stemmer, Salil Vadhan,
- Abstract要約: 我々は、$(epsilon, delta)$微分プライベートアルゴリズムのサンプル複雑性に対して、新しい上界と下界を証明した。
完全に順序付けられたドメイン上のしきい値関数$c_x$は$c_x(y) = 1$ if $y le x$と評価され、$0$と評価される。
- 参考スコア(独自算出の注目度): 27.612916837481485
- License:
- Abstract: We prove new upper and lower bounds on the sample complexity of $(\epsilon, \delta)$ differentially private algorithms for releasing approximate answers to threshold functions. A threshold function $c_x$ over a totally ordered domain $X$ evaluates to $c_x(y) = 1$ if $y \le x$, and evaluates to $0$ otherwise. We give the first nontrivial lower bound for releasing thresholds with $(\epsilon,\delta)$ differential privacy, showing that the task is impossible over an infinite domain $X$, and moreover requires sample complexity $n \ge \Omega(\log^*|X|)$, which grows with the size of the domain. Inspired by the techniques used to prove this lower bound, we give an algorithm for releasing thresholds with $n \le 2^{(1+ o(1))\log^*|X|}$ samples. This improves the previous best upper bound of $8^{(1 + o(1))\log^*|X|}$ (Beimel et al., RANDOM '13). Our sample complexity upper and lower bounds also apply to the tasks of learning distributions with respect to Kolmogorov distance and of properly PAC learning thresholds with differential privacy. The lower bound gives the first separation between the sample complexity of properly learning a concept class with $(\epsilon,\delta)$ differential privacy and learning without privacy. For properly learning thresholds in $\ell$ dimensions, this lower bound extends to $n \ge \Omega(\ell \cdot \log^*|X|)$. To obtain our results, we give reductions in both directions from releasing and properly learning thresholds and the simpler interior point problem. Given a database $D$ of elements from $X$, the interior point problem asks for an element between the smallest and largest elements in $D$. We introduce new recursive constructions for bounding the sample complexity of the interior point problem, as well as further reductions and techniques for proving impossibility results for other basic problems in differential privacy.
- Abstract(参考訳): 閾値関数に近似した解を出すために,$(\epsilon, \delta)$差分プライベートアルゴリズムのサンプル複雑性に対して,新しい上界と下界を証明した。
完全に順序付けられたドメイン上のしきい値関数$c_x$は$c_x(y) = 1$ if $y \le x$と評価され、$0$と評価される。
差分プライバシーが$(\epsilon,\delta)$で閾値を解放する最初の非自明な下界を与えると、そのタスクは無限のドメインで$X$で不可能であり、さらに、ドメインのサイズで成長するサンプルの複雑さ$n \ge \Omega(\log^*|X|)$を必要とする。
この下界を証明するために用いられる手法に着想を得て、$n \le 2^{(1+ o(1))\log^*|X|}$サンプルで閾値を解放するアルゴリズムを与える。
これにより、以前の最高上限である 8^{(1 + o(1))\log^*|X|}$ (Beimel et al , RANDOM '13) が改善される。
また,本サンプルの複雑性は,コルモゴロフ距離に対する分布の学習や,差分プライバシーによるPAC学習閾値の適正化にも適用できる。
下限は、$(\epsilon,\delta)$差分プライバシーとプライバシのない学習という概念クラスを適切に学習する、サンプルの複雑さを初めて分離するものである。
$\ell$次元の閾値を適切に学習するために、この下界は$n \ge \Omega(\ell \cdot \log^*|X|)$に拡張される。
この結果を得るため,両方向の学習しきい値の解放と適切な学習から,より単純な内部点問題まで,両方向の削減を図った。
データベースが$X$から$D$の要素を与えられたとき、内点問題は$D$の最小要素と最大の要素の間の要素を求める。
本稿では、内部点問題におけるサンプルの複雑さを束縛する新たな再帰的構造を導入するとともに、差分プライバシーにおける他の基本的な問題に対する可逆性を証明するためのさらなる削減と技術を導入する。
関連論文リスト
- Tight Bounds for Quantum Phase Estimation and Related Problems [0.90238471756546]
精度$delta$と誤差確率$epsilon$は$Omegaleft(frac1deltalog1epsilonright)$であることを示す。
また、多くのアドバイス(アドバイス準備ユニタリの応用)を持つことは、コストを大幅に削減することはなく、また、$U$の固有値に関する知識も少なくないことも示している。
論文 参考訳(メタデータ) (2023-05-08T17:46:01Z) - \~Optimal Differentially Private Learning of Thresholds and
Quasi-Concave Optimization [23.547605262139957]
しきい値関数の学習問題は、機械学習の基本的な問題である。
Kaplan et al による $tildeO(log* |X|)1.5) のほぼタイトな上界を提供する。
また、プライベート準凹の加法誤差(関連するより一般的な問題)に対して$tildeTheta(2log*|X|)$の上限と下限のマッチングも提供する。
論文 参考訳(メタデータ) (2022-11-11T18:16:46Z) - Superpolynomial Lower Bounds for Decision Tree Learning and Testing [5.117810469621253]
ランダム化されたETHの下では、2つの基本的な問題に対して超ポリノミカルな下界が証明される。
その結果, 分散自由なPAC学習と決定木の試験において, 新たな下位境界が示唆された。
学習決定木の境界の低さを$nOmega(log s)$に改善できることを示します。
論文 参考訳(メタデータ) (2022-10-12T16:25:48Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳(メタデータ) (2021-03-02T06:53:44Z) - Improved Sample Complexity for Incremental Autonomous Exploration in
MDPs [132.88757893161699]
我々は $epsilon$-optimal 目標条件付きポリシーのセットを学び、$ L$ ステップ内で段階的に到達可能なすべての状態を達成します。
DisCoは、コストに敏感な最短経路問題に対して$epsilon/c_min$-optimalポリシーを返すことができる最初のアルゴリズムです。
論文 参考訳(メタデータ) (2020-12-29T14:06:09Z) - $Q$-learning with Logarithmic Regret [60.24952657636464]
楽観的な$Q$は$mathcalOleft(fracSAcdot mathrmpolyleft(Hright)Delta_minlogleft(SATright)right)$ cumulative regret bound, where $S$ is the number of state, $A$ is the number of action, $H$ is the planning horizon, $T$ is the total number of steps, $Delta_min$ is the least sub-Optitimality gap。
論文 参考訳(メタデータ) (2020-06-16T13:01:33Z) - Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample
Complexity [59.34067736545355]
S$状態、$A$アクション、割引係数$gamma in (0,1)$、近似しきい値$epsilon > 0$の MDP が与えられた場合、$epsilon$-Optimal Policy を学ぶためのモデルなしアルゴリズムを提供する。
十分小さな$epsilon$の場合、サンプルの複雑さで改良されたアルゴリズムを示す。
論文 参考訳(メタデータ) (2020-06-06T13:34:41Z) - Private Learning of Halfspaces: Simplifying the Construction and
Reducing the Sample Complexity [63.29100726064574]
有限格子上の半空間に対して微分プライベート学習器を$mathbbRd$で$G$で、サンプル複雑性を$approx d2.5cdot 2log*|G|$で表す。
学習者のためのビルディングブロックは、線形実現可能性問題を解くために、微分プライベートな新しいアルゴリズムである。
論文 参考訳(メタデータ) (2020-04-16T16:12:10Z) - Locally Private Hypothesis Selection [96.06118559817057]
我々は、$mathcalQ$から$p$までの総変動距離が最良の分布に匹敵する分布を出力する。
局所的な差分プライバシーの制約は、コストの急激な増加を引き起こすことを示す。
提案アルゴリズムは,従来手法のラウンド複雑性を指数関数的に改善する。
論文 参考訳(メタデータ) (2020-02-21T18:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。