論文の概要: Arbitrary Decisions are a Hidden Cost of Differentially Private Training
- arxiv url: http://arxiv.org/abs/2302.14517v2
- Date: Mon, 15 May 2023 15:07:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 23:19:44.424331
- Title: Arbitrary Decisions are a Hidden Cost of Differentially Private Training
- Title（参考訳）: 任意決定は個人差分訓練の隠れたコストである
- Authors: Bogdan Kulynych, Hsiang Hsu, Carmela Troncoso, Flavio P. Calmon
- Abstract要約: 機械学習で使用されるメカニズムは、しばしばモデルトレーニング中に差分プライバシー(DP)を保証することを目的としている。
モデルパラメータをプライバシに敏感なデータに適合させる際にランダム化を利用する。
与えられた入力の例として、等プライベートなモデルによって予測される出力は、トレーニングで使用されるランダム性に依存する。
- 参考スコア（独自算出の注目度）: 7.560688419767116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mechanisms used in privacy-preserving machine learning often aim to guarantee
differential privacy (DP) during model training. Practical DP-ensuring training
methods use randomization when fitting model parameters to privacy-sensitive
data (e.g., adding Gaussian noise to clipped gradients). We demonstrate that
such randomization incurs predictive multiplicity: for a given input example,
the output predicted by equally-private models depends on the randomness used
in training. Thus, for a given input, the predicted output can vary drastically
if a model is re-trained, even if the same training dataset is used. The
predictive-multiplicity cost of DP training has not been studied, and is
currently neither audited for nor communicated to model designers and
stakeholders. We derive a bound on the number of re-trainings required to
estimate predictive multiplicity reliably. We analyze--both theoretically and
through extensive experiments--the predictive-multiplicity cost of three
DP-ensuring algorithms: output perturbation, objective perturbation, and
DP-SGD. We demonstrate that the degree of predictive multiplicity rises as the
level of privacy increases, and is unevenly distributed across individuals and
demographic groups in the data. Because randomness used to ensure DP during
training explains predictions for some examples, our results highlight a
fundamental challenge to the justifiability of decisions supported by
differentially private models in high-stakes settings. We conclude that
practitioners should audit the predictive multiplicity of their DP-ensuring
algorithms before deploying them in applications of individual-level
consequence.
- Abstract（参考訳）: プライバシ保存機械学習で使用されるメカニズムは、モデルトレーニング中に差分プライバシー(DP)を保証することを目的としていることが多い。
実用的なdp補償トレーニング方法は、モデルパラメータをプライバシーに敏感なデータに適合させる(例えば、クリップされた勾配にガウスノイズを追加する)際にランダム化を使用する。
このようなランダム化は、与えられた入力例に対して、等プライベートモデルによって予測される出力は、トレーニングで使用されるランダム性に依存する。
したがって、与えられた入力に対して、モデルが再トレーニングされた場合、同じトレーニングデータセットを使用した場合であっても、予測出力は劇的に変化する。
DPトレーニングの予測多重コストは研究されておらず、現在、モデルデザイナやステークホルダーに監査も伝達もしていない。
予測多重度を確実に推定するために必要な再学習の回数に制限を課す。
理論上,広範囲にわたる実験を通じて,出力摂動,客観的摂動,dp-sgdの3つのdp補償アルゴリズムの予測・多重化コストを分析した。
プライバシのレベルが向上するにつれて,予測多重度が増加し,データ内の個人や人口集団に不均一に分散することを示す。
トレーニング中のdpを確保するために使用されるランダム性は、いくつかの例の予測を説明するため、高リスク設定において微分プライベートモデルが支持する意思決定の正当性に対する根本的な課題を浮き彫りにする。
我々は,個人レベルのアプリケーションに適用する前に,dp補償アルゴリズムの予測多重性を監査するべきであると結論づけた。
関連論文リスト
- LLM-based Privacy Data Augmentation Guided by Knowledge Distillation
with a Distribution Tutor for Medical Text Classification [67.92145284679623]
ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。
理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
論文 参考訳（メタデータ） (2024-02-26T11:52:55Z) - Training Implicit Generative Models via an Invariant Statistical Loss [3.139474253994318]
暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。
マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。
本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
論文 参考訳（メタデータ） (2024-02-26T09:32:28Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - Differentially Private Statistical Inference through $\beta$-Divergence
One Posterior Sampling [2.8544822698499255]
本稿では,モデルとデータ生成プロセス間の$beta$-divergenceの最小化を目標とした,一般化後部からの後部サンプリング手法を提案する。
これにより、基礎となるモデルの変更を必要とせずに、一般的に適用可能なプライベートな推定が可能になる。
我々は、$beta$D-Bayesが同一のプライバシー保証に対してより正確な推測を行うことを示す。
論文 参考訳（メタデータ） (2023-07-11T12:00:15Z) - Training Private Models That Know What They Don't Know [40.19666295972155]
いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。
モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
論文 参考訳（メタデータ） (2023-05-28T12:20:07Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳（メタデータ） (2021-10-12T01:45:27Z) - DPlis: Boosting Utility of Differentially Private Deep Learning via
Randomized Smoothing [0.0]
DPlis--Differentially Private Learning wIth Smoothingを提案します。
DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
論文 参考訳（メタデータ） (2021-03-02T06:33:14Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳（メタデータ） (2021-02-11T18:59:11Z) - MACE: A Flexible Framework for Membership Privacy Estimation in
Generative Models [14.290199072565162]
生成モデルにおけるメンバシッププライバシ推定のための最初の公式なフレームワークを提案する。
これまでの作業と比較すると、私たちのフレームワークはより現実的で柔軟な仮定をします。
論文 参考訳（メタデータ） (2020-09-11T23:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。