論文の概要: On the Intrinsic Differential Privacy of Bagging
- arxiv url: http://arxiv.org/abs/2008.09845v1
- Date: Sat, 22 Aug 2020 14:17:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 08:22:04.141237
- Title: On the Intrinsic Differential Privacy of Bagging
- Title（参考訳）: バグングにおける内在的微分プライバシーについて
- Authors: Hongbin Liu, Jinyuan Jia, Neil Zhenqiang Gong
- Abstract要約: 我々は、Bagingが、同じプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも、はるかに高い精度を達成することを示す。
実験結果から,Bagingは,同一のプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも格段に高い精度を達成できることが示された。
- 参考スコア（独自算出の注目度）: 69.70602220716718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private machine learning trains models while protecting
privacy of the sensitive training data. The key to obtain differentially
private models is to introduce noise/randomness to the training process. In
particular, existing differentially private machine learning methods add noise
to the training data, the gradients, the loss function, and/or the model
itself. Bagging, a popular ensemble learning framework, randomly creates some
subsamples of the training data, trains a base model for each subsample using a
base learner, and takes majority vote among the base models when making
predictions. Bagging has intrinsic randomness in the training process as it
randomly creates subsamples. Our major theoretical results show that such
intrinsic randomness already makes Bagging differentially private without the
needs of additional noise. In particular, we prove that, for any base learner,
Bagging with and without replacement respectively achieves $\left(N\cdot k
\cdot \ln{\frac{n+1}{n}},1- (\frac{n-1}{n})^{N\cdot k}\right)$-differential
privacy and $\left(\ln{\frac{n+1}{n+1-N\cdot k}}, \frac{N\cdot k}{n}
\right)$-differential privacy, where $n$ is the training data size, $k$ is the
subsample size, and $N$ is the number of base models. Moreover, we prove that
if no assumptions about the base learner are made, our derived privacy
guarantees are tight. We empirically evaluate Bagging on MNIST and CIFAR10. Our
experimental results demonstrate that Bagging achieves significantly higher
accuracies than state-of-the-art differentially private machine learning
methods with the same privacy budgets.
- Abstract（参考訳）: 異なるプライベート機械学習は、センシティブなトレーニングデータのプライバシーを保護しながらモデルをトレーニングする。
微分プライベートモデルを得る鍵は、トレーニングプロセスにノイズ/ランダム性を導入することである。
特に、既存の差分プライベートな機械学習手法は、トレーニングデータ、勾配、損失関数、および/またはモデル自体にノイズを追加する。
一般的なアンサンブル学習フレームワークであるBaggingは、トレーニングデータのいくつかのサブサンプルをランダムに生成し、ベースラーナーを使用して各サブサンプルのベースモデルをトレーニングし、予測を行うときにベースモデルに多数票を投じる。
Baggingはトレーニングプロセスに固有のランダム性を持ち、サブサンプルをランダムに生成する。
我々の主要な理論的結果は、そのような本質的なランダム性は、付加ノイズを伴わずに既にBagingを微分プライベートにすることを示している。
特に、任意のベース学習者に対して、置換なしでバグングがそれぞれ$\left(n\cdot k \cdot \ln{\frac{n+1}{n}},1- (\frac{n-1}{n})^{n\cdot k}\right)$-differential privacyと$\left(\ln{\frac{n+1}{n+1-n\cdot k}}, \frac{n\cdot k}{n} \right)$-differential privacy(ここで$n$はトレーニングデータサイズ、$k$はサブサンプルサイズ、$n$はベースモデルの数である。
さらに,ベース学習者に関する仮定がなければ,プライバシの保証は厳密であることが証明される。
MNIST と CIFAR10 の Bagging を実験的に評価した。
実験結果から,Bagingは,同一のプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも格段に高い精度を実現することが示された。
関連論文リスト
- Privacy for Free in the Over-Parameterized Regime [19.261178173399784]
ディファレンシャル・プライベート勾配降下(DP-GD)は、トレーニングデータのプライバシを保証してディープラーニングモデルをトレーニングする一般的なアルゴリズムである。
本研究では,2次損失を持つ一般的なランダム特徴モデルにおいて,十分大きな$p$に対して,プライバシが無償で取得可能であること,すなわち$left|R_P right| = o(1)$,プライバシパラメータ$varepsilon$が一定の順序を持つ場合に限らず,強いプライベート設定$varepsilon = o(1)$ が得られることを示す。
論文 参考訳（メタデータ） (2024-10-18T18:01:11Z) - Differentially Private Statistical Inference through $\beta$-Divergence
One Posterior Sampling [2.8544822698499255]
本稿では,モデルとデータ生成プロセス間の$beta$-divergenceの最小化を目標とした,一般化後部からの後部サンプリング手法を提案する。
これにより、基礎となるモデルの変更を必要とせずに、一般的に適用可能なプライベートな推定が可能になる。
我々は、$beta$D-Bayesが同一のプライバシー保証に対してより正確な推測を行うことを示す。
論文 参考訳（メタデータ） (2023-07-11T12:00:15Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳（メタデータ） (2022-10-24T23:50:12Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳（メタデータ） (2022-10-05T11:32:49Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Pre-trained Perceptual Features Improve Differentially Private Image
Generation [8.659595986100738]
差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。
私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。
私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
論文 参考訳（メタデータ） (2022-05-25T16:46:01Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Mixed Differential Privacy in Computer Vision [133.68363478737058]
AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。
プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
論文 参考訳（メタデータ） (2022-03-22T06:15:43Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳（メタデータ） (2021-11-01T18:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。