論文の概要: Revisiting Hyperparameter Tuning with Differential Privacy
- arxiv url: http://arxiv.org/abs/2211.01852v1
- Date: Thu, 3 Nov 2022 14:42:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 14:30:17.229677
- Title: Revisiting Hyperparameter Tuning with Differential Privacy
- Title(参考訳): 差分プライバシーによるハイパーパラメータチューニングの再検討
- Authors: Youlong Ding and Xueyang Wu
- Abstract要約: 我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。
我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。
追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
- 参考スコア(独自算出の注目度): 1.6425841685973384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter tuning is a common practice in the application of machine
learning but is a typically ignored aspect in the literature on
privacy-preserving machine learning due to its negative effect on the overall
privacy parameter. In this paper, we aim to tackle this fundamental yet
challenging problem by providing an effective hyperparameter tuning framework
with differential privacy. The proposed method allows us to adopt a broader
hyperparameter search space and even to perform a grid search over the whole
space, since its privacy loss parameter is independent of the number of
hyperparameter candidates. Interestingly, it instead correlates with the
utility gained from hyperparameter searching, revealing an explicit and
mandatory trade-off between privacy and utility. Theoretically, we show that
its additional privacy loss bound incurred by hyperparameter tuning is
upper-bounded by the squared root of the gained utility. However, we note that
the additional privacy loss bound would empirically scale like a squared root
of the logarithm of the utility term, benefiting from the design of doubling
step.
- Abstract(参考訳): ハイパーパラメータチューニングは機械学習の応用において一般的なプラクティスであるが、全体的なプライバシパラメータに負の影響があるため、プライバシ保存機械学習に関する文献では一般的に無視される側面である。
本稿では,差分プライバシーを備えた効果的なハイパーパラメータチューニングフレームワークを提供することで,この根本的な課題に取り組むことを目的とする。
提案手法では,ハイパーパラメータ候補数に依存しないプライバシ損失パラメータを用いることで,広義のハイパーパラメータ探索空間を採用し,空間全体にわたってグリッド検索を行うことも可能である。
興味深いことに、ハイパーパラメータ検索から得られるユーティリティと相関し、プライバシとユーティリティの間の明示的かつ強制的なトレードオフを明らかにする。
理論的には、ハイパーパラメータチューニングによって引き起こされる追加のプライバシー損失は、取得したユーティリティの平方根によって上限される。
しかし、追加のプライバシー損失は、ユーティリティ用語の対数の二乗根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに注意する。
関連論文リスト
- How Does Selection Leak Privacy: Revisiting Private Selection and
Improved Results for Hyper-parameter Tuning [22.382712811803284]
ハイパーパラメータチューニングにおける差分プライバシ(DP)の保証問題について検討する。
最近の研究でチューニングプロセスの汎用的なプライベートソリューションが提案されているが、根本的な疑問はまだ残っている。
本論は, 肯定的, 否定的回答の両方に寄与する。
論文 参考訳(メタデータ) (2024-02-20T15:29:49Z) - DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。
フレームワークの総合的な差分プライバシー分析を提供する。
本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
論文 参考訳(メタデータ) (2023-06-09T07:55:46Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳(メタデータ) (2023-04-17T00:38:01Z) - Online Continuous Hyperparameter Optimization for Contextual Bandits [82.18146534971156]
文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。
そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。
理論上はサブ線形の後悔を達成でき、合成データと実データの両方において一貫してより良い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-02-18T23:31:20Z) - On Differential Privacy and Adaptive Data Analysis with Bounded Space [76.10334958368618]
差分プライバシーと適応データ分析の2つの関連分野の空間複雑性について検討する。
差分プライバシーで効率的に解くために指数関数的に多くの空間を必要とする問題Pが存在することを示す。
アダプティブデータ分析の研究の行は、アダプティブクエリのシーケンスに応答するのに必要なサンプルの数を理解することに焦点を当てている。
論文 参考訳(メタデータ) (2023-02-11T14:45:31Z) - Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。
本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
論文 参考訳(メタデータ) (2022-09-08T22:43:50Z) - A Blessing of Dimensionality in Membership Inference through
Regularization [29.08230123469755]
モデルのパラメータ数がいかにプライバシーとユーティリティのトレードオフを引き起こすかを示す。
次に、適切な一般化正規化と組み合わせることで、モデルのパラメータの数を増やすことで、そのプライバシと性能の両方を実際に増加させることができることを示す。
論文 参考訳(メタデータ) (2022-05-27T15:44:00Z) - Hyperparameter Tuning with Renyi Differential Privacy [31.522386779876598]
差分プライベートアルゴリズムの価値を微調整するために必要な複数のトレーニング実行から生じるプライバシリークについて検討する。
我々は、Renyi差分プライバシーの枠組みの中で、ハイパーパラメータ検索手順のプライバシー保証を提供する。
論文 参考訳(メタデータ) (2021-10-07T16:58:46Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳(メタデータ) (2021-09-06T17:10:01Z) - Efficient Hyperparameter Optimization for Differentially Private Deep
Learning [1.7205106391379026]
望ましいプライバシーとユーティリティのトレードオフを確立するための一般的な最適化フレームワークを定式化します。
提案手法では,進化的,ベイズ的,強化学習の3つの費用対効果アルゴリズムについて検討する。
私たちの研究がプライベートなディープラーニングのパイプラインで活用できると信じているので、コードをhttps://github.com/AmanPriyanshu/DP-HyperparamTuning.comに公開しています。
論文 参考訳(メタデータ) (2021-08-09T09:18:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。