論文の概要: Hyperparameter Tuning with Renyi Differential Privacy

• arxiv url: http://arxiv.org/abs/2110.03620v1
• Date: Thu, 7 Oct 2021 16:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:19:56.029721
• Title: Hyperparameter Tuning with Renyi Differential Privacy
• Title（参考訳）: Renyi差分プライバシーを用いたハイパーパラメータチューニング
• Authors: Nicolas Papernot, Thomas Steinke
• Abstract要約: 差分プライベートアルゴリズムの価値を微調整するために必要な複数のトレーニング実行から生じるプライバシリークについて検討する。 我々は、Renyi差分プライバシーの枠組みの中で、ハイパーパラメータ検索手順のプライバシー保証を提供する。
• 参考スコア（独自算出の注目度）: 31.522386779876598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For many differentially private algorithms, such as the prominent noisy stochastic gradient descent (DP-SGD), the analysis needed to bound the privacy leakage of a single training run is well understood. However, few studies have reasoned about the privacy leakage resulting from the multiple training runs needed to fine tune the value of the training algorithm's hyperparameters. In this work, we first illustrate how simply setting hyperparameters based on non-private training runs can leak private information. Motivated by this observation, we then provide privacy guarantees for hyperparameter search procedures within the framework of Renyi Differential Privacy. Our results improve and extend the work of Liu and Talwar (STOC 2019). Our analysis supports our previous observation that tuning hyperparameters does indeed leak private information, but we prove that, under certain assumptions, this leakage is modest, as long as each candidate training run needed to select hyperparameters is itself differentially private.
• Abstract（参考訳）: ノイズの大きい確率勾配降下(dp-sgd)のような多くの微分プライベートアルゴリズムでは、単一のトレーニング実行のプライバシリークを制限するのに必要な解析がよく理解されている。 しかし、トレーニングアルゴリズムのハイパーパラメーターの値を微調整するために必要な複数のトレーニング実行から生じるプライバシー漏洩に関する研究はほとんどない。 本稿では,非プライベートなトレーニング実行に基づいてハイパーパラメータを設定することで,個人情報が漏洩する可能性について述べる。 この観察に動機づけられ、我々はrenyi微分プライバシーの枠組みの中でハイパーパラメータ探索手順のプライバシー保証を提供する。 この結果は,Liu と Talwar (STOC 2019) の作業を改善し,拡張する。 我々の分析は、ハイパーパラメータのチューニングが実際にプライベート情報を漏洩させるというこれまでの観察を支持しているが、特定の仮定の下では、ハイパーパラメータの選択に必要な各候補のトレーニング実行がそれ自体が微分プライベートである限り、このリークは控えめであることを示す。

関連論文リスト

• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Revisiting Differentially Private Hyper-parameter Tuning [20.278323915802805]
  最近の研究はチューニングプロセスに汎用的なプライベートセレクションソリューションを提案するが、根本的な疑問が残る。 本稿では,この問題について詳細に検討する。 以上の結果から, 厳密な監査設定下においても, 現在の理論的プライバシー境界と経験的バウンダリとの間には, かなりのギャップがあることが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T15:29:49Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
  そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。 我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。 本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-27T21:01:58Z)
• Revisiting Hyperparameter Tuning with Differential Privacy [1.6425841685973384]
  我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。 我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。 追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
  論文  参考訳（メタデータ） (2022-11-03T14:42:19Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search [38.83524780461911]
  トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
  論文  参考訳（メタデータ） (2022-10-05T11:32:49Z)
• Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
  我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。 本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2022-09-08T22:43:50Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。