論文の概要: How Does Selection Leak Privacy: Revisiting Private Selection and
Improved Results for Hyper-parameter Tuning
- arxiv url: http://arxiv.org/abs/2402.13087v1
- Date: Tue, 20 Feb 2024 15:29:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 14:41:55.779701
- Title: How Does Selection Leak Privacy: Revisiting Private Selection and
Improved Results for Hyper-parameter Tuning
- Title（参考訳）: 選択リークプライバシ: プライベート選択の再検討とハイパーパラメータチューニング結果の改善
- Authors: Zihang Xiang, Chenglong Wang, Di Wang
- Abstract要約: ハイパーパラメータチューニングにおける差分プライバシ(DP)の保証問題について検討する。
最近の研究でチューニングプロセスの汎用的なプライベートソリューションが提案されているが、根本的な疑問はまだ残っている。
本論は, 肯定的, 否定的回答の両方に寄与する。
- 参考スコア（独自算出の注目度）: 22.382712811803284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of guaranteeing Differential Privacy (DP) in
hyper-parameter tuning, a crucial process in machine learning involving the
selection of the best run from several. Unlike many private algorithms,
including the prevalent DP-SGD, the privacy implications of tuning remain
insufficiently understood. Recent works propose a generic private solution for
the tuning process, yet a fundamental question still persists: is the current
privacy bound for this solution tight?
This paper contributes both positive and negative answers to this question.
Initially, we provide studies affirming the current privacy analysis is indeed
tight in a general sense. However, when we specifically study the
hyper-parameter tuning problem, such tightness no longer holds. This is first
demonstrated by applying privacy audit on the tuning process. Our findings
underscore a substantial gap between the current theoretical privacy bound and
the empirical bound derived even under the strongest audit setup.
The gap found is not a fluke. Our subsequent study provides an improved
privacy result for private hyper-parameter tuning due to its distinct
properties. Our privacy results are also more generalizable compared to prior
analyses that are only easily applicable in specific setups.
- Abstract（参考訳）: 本稿では,ハイパーパラメータチューニングにおける差分プライバシ(dp)の保証の問題について検討する。
DP-SGDを含む多くのプライベートアルゴリズムとは異なり、チューニングのプライバシーへの影響は未だ十分に理解されていない。
最近の研究でチューニングプロセスのための一般的なプライベートソリューションが提案されているが、基本的な疑問はまだ残っている。
本論は, 肯定的, 否定的回答の両方に寄与する。
当初我々は、現在のプライバシー分析が一般的には厳密であることを示す研究を提供している。
しかし、超パラメータチューニング問題を特に研究する場合、そのような厳密性はもはや保たない。
これはまず、チューニングプロセスにプライバシー監査を適用することで実証される。
我々の発見は、現在の理論上のプライバシバウンドと経験的バウンドとの間の実質的なギャップを、最強の監査設定の下でも強調する。
見つかったギャップはふわふわではありません。
その後の研究では、プライベートなハイパーパラメータチューニングに対するプライバシ結果が改善されました。
我々のプライバシー結果は、特定の設定でのみ容易に適用できる以前の分析に比べて、より一般化できる。
関連論文リスト
- A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳（メタデータ） (2023-04-17T00:38:01Z) - On Differential Privacy and Adaptive Data Analysis with Bounded Space [76.10334958368618]
差分プライバシーと適応データ分析の2つの関連分野の空間複雑性について検討する。
差分プライバシーで効率的に解くために指数関数的に多くの空間を必要とする問題Pが存在することを示す。
アダプティブデータ分析の研究の行は、アダプティブクエリのシーケンスに応答するのに必要なサンプルの数を理解することに焦点を当てている。
論文 参考訳（メタデータ） (2023-02-11T14:45:31Z) - Revisiting Hyperparameter Tuning with Differential Privacy [1.6425841685973384]
我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。
我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。
追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
論文 参考訳（メタデータ） (2022-11-03T14:42:19Z) - Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。
本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
論文 参考訳（メタデータ） (2022-09-08T22:43:50Z) - Privacy of Noisy Stochastic Gradient Descent: More Iterations without
More Privacy Loss [34.66940399825547]
業界は単純なアルゴリズムを広く採用している:騒音を伴うグラディエントDescent(グラディエントLangevin Dynamics)
このアルゴリズムのプライバシ損失に関する疑問は、バウンドドメイン上の滑らかな凸損失の一見単純な設定であっても、まだオープンである。
我々は、差分プライバシーを一定の要因まで特徴づけ、小さなバーンイン期間の後、SGDの実行がこれ以上のプライバシーを漏らさないことを示す。
論文 参考訳（メタデータ） (2022-05-27T02:09:55Z) - Debugging Differential Privacy: A Case Study for Privacy Auditing [60.87570714269048]
監査は、微分プライベートなスキームの欠陥を見つけるためにも利用できることを示す。
このケーススタディでは、微分プライベートなディープラーニングアルゴリズムの最近のオープンソース実装を監査し、99.9999999999%の信頼を得て、この実装が要求される差分プライバシー保証を満たさないことを発見した。
論文 参考訳（メタデータ） (2022-02-24T17:31:08Z) - Hyperparameter Tuning with Renyi Differential Privacy [31.522386779876598]
差分プライベートアルゴリズムの価値を微調整するために必要な複数のトレーニング実行から生じるプライバシリークについて検討する。
我々は、Renyi差分プライバシーの枠組みの中で、ハイパーパラメータ検索手順のプライバシー保証を提供する。
論文 参考訳（メタデータ） (2021-10-07T16:58:46Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z) - Individual Privacy Accounting via a Renyi Filter [33.65665839496798]
個人ごとのパーソナライズされたプライバシ損失推定値に基づいて、より厳格なプライバシ損失会計を行う方法を提案する。
我々のフィルターは、Rogersらによる$(epsilon,delta)$-differential privacyの既知のフィルタよりもシンプルできつい。
論文 参考訳（メタデータ） (2020-08-25T17:49:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。