論文の概要: From Robustness to Privacy and Back
- arxiv url: http://arxiv.org/abs/2302.01855v1
- Date: Fri, 3 Feb 2023 16:57:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 15:33:57.387053
- Title: From Robustness to Privacy and Back
- Title（参考訳）: ロバストネスからプライバシとバックへ
- Authors: Hilal Asi, Jonathan Ullman, Lydia Zakynthinou
- Abstract要約: 統計的推論と機械学習における2つのデシラタの関係について検討する。
私たちの研究は、敵対的ロバストなアルゴリズムを純粋な差分プライバシーを満たすものに変換する最初のブラックボックス変換を提供します。
- 参考スコア（独自算出の注目度）: 15.727276506140878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the relationship between two desiderata of algorithms in statistical
inference and machine learning: differential privacy and robustness to
adversarial data corruptions. Their conceptual similarity was first observed by
Dwork and Lei (STOC 2009), who observed that private algorithms satisfy
robustness, and gave a general method for converting robust algorithms to
private ones. However, all general methods for transforming robust algorithms
into private ones lead to suboptimal error rates. Our work gives the first
black-box transformation that converts any adversarially robust algorithm into
one that satisfies pure differential privacy. Moreover, we show that for any
low-dimensional estimation task, applying our transformation to an optimal
robust estimator results in an optimal private estimator. Thus, we conclude
that for any low-dimensional task, the optimal error rate for
$\varepsilon$-differentially private estimators is essentially the same as the
optimal error rate for estimators that are robust to adversarially corrupting
$1/\varepsilon$ training samples. We apply our transformation to obtain new
optimal private estimators for several high-dimensional tasks, including
Gaussian (sparse) linear regression and PCA. Finally, we present an extension
of our transformation that leads to approximate differentially private
algorithms whose error does not depend on the range of the output space, which
is impossible under pure differential privacy.
- Abstract（参考訳）: 統計的推論における2つのデシデラタのアルゴリズムと機械学習の関係について検討した。
彼らの概念的類似性は、Dwork and Lei (STOC 2009)によって初めて観察され、プライベートアルゴリズムが堅牢性を満たすことを観察し、ロバストアルゴリズムをプライベートアルゴリズムに変換する一般的な方法を与えた。
しかし、ロバストなアルゴリズムをプライベートなアルゴリズムに変換する一般的な方法はすべて、最適以下のエラー率をもたらす。
我々の研究は、あらゆる敵対的ロバストなアルゴリズムを純粋な微分プライバシーを満たすものに変換する最初のブラックボックス変換を与えます。
さらに, 任意の低次元推定タスクに対して, 最適ロバスト推定器に変換を適用することにより, 最適プライベート推定器が得られることを示す。
したがって、任意の低次元タスクに対して、$\varepsilon$-differentially private 推定器の最適誤差率は、本質的に1/\varepsilon$トレーニングサンプルを逆向きに破壊しにくい推定器の最適誤差率と同じである。
我々は,ガウス線形回帰やPCAなどの高次元タスクに対して,新しい最適プライベート推定器を得るために変換を適用した。
最後に、この変換の拡張により、誤差が出力空間の範囲に依存せず、純粋な微分プライバシー下では不可能となる近似微分プライベートアルゴリズムが導かれる。
関連論文リスト
- Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-04-16T20:01:10Z) - Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。
参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。
プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
論文 参考訳（メタデータ） (2023-06-24T16:13:28Z) - Differentially Private Domain Adaptation with Theoretical Guarantees [46.37771025567305]
多くのアプリケーションでは、ラベル付きデータの処分におけるラベル付きデータはプライバシー上の制約を受けており、比較的制限されている。
これは、パブリックソースからプライベートターゲットドメインへのドメイン適応を監督する現代の問題である。
我々は、理論的な学習保証の恩恵を受けるために、一般の学習者を利用する。
論文 参考訳（メタデータ） (2023-06-15T04:03:06Z) - Robustness Implies Privacy in Statistical Estimation [16.061651295129302]
本研究では,高次元統計学における敵のプライバシーと差分プライバシーの関係について検討する。
プライバシーから堅牢性への最初のブラックボックスの削減は、最適なトレードオフを伴うプライベートな推定器を生み出すことができる。
また, アルゴリズムは, ほぼ最適に崩壊したサンプルに対して頑健である。
論文 参考訳（メタデータ） (2022-12-09T18:07:30Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Optimal Algorithms for Mean Estimation under Local Differential Privacy [55.32262879188817]
そこで本研究では,PrivUnitが局所的プライベートな乱数化器群間の最適分散を実現することを示す。
また,ガウス分布に基づくPrivUnitの新たな変種も開発しており,数学的解析に適しており,同じ最適性保証を享受できる。
論文 参考訳（メタデータ） (2022-05-05T06:43:46Z) - No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。
均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。
我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
論文 参考訳（メタデータ） (2021-02-24T18:52:24Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。