論文の概要: A One-Pass Private Sketch for Most Machine Learning Tasks
- arxiv url: http://arxiv.org/abs/2006.09352v1
- Date: Tue, 16 Jun 2020 17:47:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 20:22:36.965707
- Title: A One-Pass Private Sketch for Most Machine Learning Tasks
- Title(参考訳): ほとんどの機械学習タスクのためのワンパスプライベートスケッチ
- Authors: Benjamin Coleman and Anshumali Shrivastava
- Abstract要約: 差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。
本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。
このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
- 参考スコア(独自算出の注目度): 48.17461258268463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential privacy (DP) is a compelling privacy definition that explains
the privacy-utility tradeoff via formal, provable guarantees. Inspired by
recent progress toward general-purpose data release algorithms, we propose a
private sketch, or small summary of the dataset, that supports a multitude of
machine learning tasks including regression, classification, density
estimation, near-neighbor search, and more. Our sketch consists of randomized
contingency tables that are indexed with locality-sensitive hashing and
constructed with an efficient one-pass algorithm. We prove competitive error
bounds for DP kernel density estimation. Existing methods for DP kernel density
estimation scale poorly, often exponentially slower with an increase in
dimensions. In contrast, our sketch can quickly run on large, high-dimensional
datasets in a single pass. Exhaustive experiments show that our generic sketch
delivers a similar privacy-utility tradeoff when compared to existing DP
methods at a fraction of the computation cost. We expect that our sketch will
enable differential privacy in distributed, large-scale machine learning
settings.
- Abstract(参考訳): 差分プライバシー(DP)は、正式な証明可能な保証を通じてプライバシーとユーティリティのトレードオフを説明する魅力的なプライバシー定義である。
汎用データリリースアルゴリズムの最近の進歩に触発されて,回帰,分類,密度推定,近距離探索など,多数の機械学習タスクをサポートするデータセットのプライベートスケッチ,あるいは小さなサマリーを提案する。
このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
dpカーネル密度推定の競合誤差境界を証明した。
DPカーネル密度推定のための既存の手法は、次元の増大とともに、しばしば指数関数的に遅くスケールする。
対照的に、私たちのスケッチは、大きな高次元のデータセットを1パスで素早く実行できます。
既存のDP手法と比較して計算コストのごく一部で、我々の一般的なスケッチは、同様のプライバシーとユーティリティのトレードオフをもたらすことを示す。
当社のスケッチは、大規模に分散した機械学習環境での差分プライバシを実現することを期待しています。
関連論文リスト
- Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。
提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文 参考訳(メタデータ) (2024-11-04T21:27:06Z) - Private Language Models via Truncated Laplacian Mechanism [18.77713904999236]
本稿では,高次元トラカート型ラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案する。
提案手法は,従来のプライベート単語埋め込み法に比べて分散度が低いことを示す。
注目すべきは、高いプライバシー体制であっても、私たちのアプローチは、プライベートでないシナリオに比べて、実用性がわずかに低下することです。
論文 参考訳(メタデータ) (2024-10-10T15:25:02Z) - Enhanced Privacy Bound for Shuffle Model with Personalized Privacy [32.08637708405314]
Differential Privacy(DP)は、ローカルユーザと中央データキュレーターの間の中間信頼サーバを導入する、強化されたプライバシプロトコルである。
これは、局所的にランダム化されたデータを匿名化しシャッフルすることで、中央のDP保証を著しく増幅する。
この研究は、各ユーザーごとにパーソナライズされたローカルプライバシを必要とする、より実践的な設定のために、中央のプライバシ境界を導出することに焦点を当てている。
論文 参考訳(メタデータ) (2024-07-25T16:11:56Z) - Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。
DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。
本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
論文 参考訳(メタデータ) (2024-04-24T06:51:16Z) - Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。
我々は、最先端技術にマッチする会員推定のバウンダリを得る。
属性推論に対する新しいデータ依存型バウンダリを提案する。
論文 参考訳(メタデータ) (2024-02-22T09:26:16Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Differentially Private Federated Learning via Inexact ADMM with Multiple
Local Updates [0.0]
我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。
当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
論文 参考訳(メタデータ) (2022-02-18T19:58:47Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。