論文の概要: Non-Asymptotic Lower Bounds For Training Data Reconstruction
- arxiv url: http://arxiv.org/abs/2303.16372v1
- Date: Wed, 29 Mar 2023 00:49:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 16:22:50.094221
- Title: Non-Asymptotic Lower Bounds For Training Data Reconstruction
- Title(参考訳): 訓練データ再構成のための非漸近下限
- Authors: Prateeti Mukherjee and Satya Lokam
- Abstract要約: 差分プライバシー (DP) とメートル法差プライバシー (mDP) を満たす学習者に対して, 敵の復元誤差の非漸近的ミニマックス下限を導出する。
DP-SGD や Projected Noisy SGD のような一般的な深層学習アルゴリズムのプライバシー解析を拡張して,メートル法差分プライバシーのより広範な概念をカバーする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate semantic guarantees of private learning algorithms for their
resilience to training Data Reconstruction Attacks (DRAs) by informed
adversaries. To this end, we derive non-asymptotic minimax lower bounds on the
adversary's reconstruction error against learners that satisfy differential
privacy (DP) and metric differential privacy (mDP). Furthermore, we demonstrate
that our lower bound analysis for the latter also covers the high dimensional
regime, wherein, the input data dimensionality may be larger than the
adversary's query budget. Motivated by the theoretical improvements conferred
by metric DP, we extend the privacy analysis of popular deep learning
algorithms such as DP-SGD and Projected Noisy SGD to cover the broader notion
of metric differential privacy.
- Abstract(参考訳): 本研究では,データ再構成攻撃(dras)の学習能力に対する個人学習アルゴリズムの意味的保証について検討する。
この目的のために, 差分プライバシー (DP) とメートル法差プライバシー (mDP) を満たす学習者に対して, 敵の復元誤差の非漸近的最小限境界を導出する。
さらに,後者に対する下限解析は,入力データ次元が敵の問合せ予算よりも大きい場合の高次元構造にも適用できることを示した。
DP-SGD や Projected Noisy SGD のような一般的な深層学習アルゴリズムのプライバシー解析を拡張して,メートル法差分プライバシーのより広範な概念をカバーする。
関連論文リスト
- Information Complexity of Stochastic Convex Optimization: Applications
to Generalization and Memorization [38.92373715475291]
我々は,円錐曲線最適化(SCO)の文脈における記憶と学習の相互作用について検討する。
我々は,Steinke と Zakynthinou が提唱した条件付き相互情報(CMI)の枠組みを用いた記憶の定量化(2020年)
L2$ Lipschitz-bounded set and under strong convexity, every learner with a excess error have CMI bounded by $Omega (1/varepsilon2)$ and $Omega (1/varepsilon)$。
論文 参考訳(メタデータ) (2024-02-14T17:17:30Z) - A Combinatorial Approach to Robust PCA [18.740048806623037]
敵の汚職下でのガウスデータの回復問題について検討する。
ガウスノイズは未知の$k$-次元部分空間$U subseteq mathbbRd$と、各データポイントのランダムに選択された座標が敵の制御に該当すると仮定する。
我々の主な結果は、$ks2 = O(d)$のとき、期待して$tilde O(ks/d)$のほぼ最適エラーまですべてのデータポイントを復元する効率的なアルゴリズムです。
論文 参考訳(メタデータ) (2023-11-28T01:49:51Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳(メタデータ) (2023-07-24T14:37:22Z) - Differentially Private Exploration in Reinforcement Learning with Linear
Representation [102.17246636801649]
まず,線形混合MDP(Ayob et al., 2020)の設定(モデルベース設定)について検討し,共同・局所微分プライベート(DP)探索を統一的に分析するための枠組みを提供する。
我々はさらに、線形MDP(Jin et al., 2020)におけるプライバシー保護探索(つまりモデルフリー設定)について研究し、$widetildeO(sqrtK/epsilon)$ regret bound for $(epsilon,delta)を提供する。
論文 参考訳(メタデータ) (2021-12-02T19:59:50Z) - Locally Differentially Private Reinforcement Learning for Linear Mixture
Markov Decision Processes [78.27542864367821]
強化学習(RL)アルゴリズムは、ユーザのプライベートで機密性の高いデータに依存するパーソナライズされたサービスを提供するために使用することができる。
ユーザのプライバシを保護するために、プライバシ保護RLアルゴリズムが要求されている。
線形混合MDPと呼ばれるマルコフ決定過程(MDP)のクラスを学習するための新しい$(varepsilon, delta)$-LDPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-10-19T17:44:09Z) - On the Sample Complexity of Privately Learning Axis-Aligned Rectangles [16.092248433189816]
有限格子上で軸-アラインド-矩形を学習する基本的な問題を再考する。
サンプルの複雑さを$tildeOleftdcdotleft(log*|X|right)1.5right$に減らす新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-07-24T04:06:11Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - Gradient-Based Empirical Risk Minimization using Local Polynomial
Regression [39.29885444997579]
この論文の主な目標は、勾配降下(GD)や勾配降下(SGD)といった異なるアルゴリズムを比較することである。
損失関数がデータのスムーズな場合、各反復でオラクルを学習し、GDとSGDの両方のオラクル複雑度に打ち勝つことができることを示す。
論文 参考訳(メタデータ) (2020-11-04T20:10:31Z) - Average-case Complexity of Teaching Convex Polytopes via Halfspace
Queries [55.28642461328172]
平均的なケースの教えの複雑さは$Theta(d)$であり、最悪のケースの教えの複雑さは$Theta(n)$とは対照的である。
我々の洞察は、$phi$-separable dichotomiesの平均ケースの複雑さに厳密な拘束力を確立することを可能にする。
論文 参考訳(メタデータ) (2020-06-25T19:59:24Z) - Faster PAC Learning and Smaller Coresets via Smoothed Analysis [25.358415142404752]
PAC学習は通常、$n$アイテムから小さなサブセット(varepsilon$-sample/net)を計算することを目的としています。
スムーズな解析から着想を得て、クエリに対する強調誤差(最悪のケースではなく)を近似する自然な一般化を提案する。
論文 参考訳(メタデータ) (2020-06-09T18:25:34Z) - Private Learning of Halfspaces: Simplifying the Construction and
Reducing the Sample Complexity [63.29100726064574]
有限格子上の半空間に対して微分プライベート学習器を$mathbbRd$で$G$で、サンプル複雑性を$approx d2.5cdot 2log*|G|$で表す。
学習者のためのビルディングブロックは、線形実現可能性問題を解くために、微分プライベートな新しいアルゴリズムである。
論文 参考訳(メタデータ) (2020-04-16T16:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。