論文の概要: Revisiting Differentially Private Hyper-parameter Tuning

• arxiv url: http://arxiv.org/abs/2402.13087v2
• Date: Tue, 4 Jun 2024 09:49:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:48:21.972719
• Title: Revisiting Differentially Private Hyper-parameter Tuning
• Title（参考訳）: 個人用ハイパーパラメータチューニングの再検討
• Authors: Zihang Xiang, Tianhao Wang, Chenglong Wang, Di Wang,
• Abstract要約: 最近の研究はチューニングプロセスに汎用的なプライベートセレクションソリューションを提案するが、根本的な疑問が残る。 本稿では,この問題について詳細に検討する。 以上の結果から, 厳密な監査設定下においても, 現在の理論的プライバシー境界と経験的バウンダリとの間には, かなりのギャップがあることが示唆された。
• 参考スコア（独自算出の注目度）: 20.278323915802805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the application of differential privacy in hyper-parameter tuning, a crucial process in machine learning involving selecting the best hyper-parameter from several candidates. Unlike many private learning algorithms, including the prevalent DP-SGD, the privacy implications of tuning remain insufficiently understood or often totally ignored. Recent works propose a generic private selection solution for the tuning process, yet a fundamental question persists: is this privacy bound tight? This paper provides an in-depth examination of this question. Initially, we provide studies affirming the current privacy analysis for private selection is indeed tight in general. However, when we specifically study the hyper-parameter tuning problem in a white-box setting, such tightness no longer holds. This is first demonstrated by applying privacy audit on the tuning process. Our findings underscore a substantial gap between current theoretical privacy bound and the empirical bound derived even under strong audit setups. This gap motivates our subsequent investigations. Our further study provides improved privacy results for private hyper-parameter tuning due to its distinct properties. Our results demonstrate broader applicability compared to prior analyses, which are limited to specific parameter configurations.
• Abstract（参考訳）: 複数の候補から最適なハイパーパラメータを選択することを含む機械学習における重要なプロセスであるハイパーパラメータチューニングにおける差分プライバシーの適用について検討する。 DP-SGDを含む多くの私的学習アルゴリズムとは異なり、チューニングのプライバシーへの影響は十分に理解されていないか、しばしば完全に無視されている。 最近の研究はチューニングプロセスに汎用的なプライベートセレクションソリューションを提案するが、根本的な疑問が残る。 本稿では,この問題について詳細に検討する。 当初、私的な選択のための現在のプライバシー分析が、一般的には厳密であることを示す研究を提供している。 しかし、ホワイトボックス設定におけるハイパーパラメータチューニング問題を特に研究する場合、そのような厳密さはもはや保たない。 これはまず、チューニングプロセスにプライバシ監査を適用することで実証される。 以上の結果から, 厳密な監査設定下においても, 現在の理論的プライバシー境界と経験的バウンダリとの間には, かなりのギャップがあることが示唆された。 このギャップはその後の調査を動機づけます。 さらに本研究では,その特性が異なるため,プライベートなハイパーパラメータチューニングのためのプライバシ結果の改善について検討した。 本研究は,パラメータ設定に限定した事前解析よりも適用性が高いことを示す。

関連論文リスト

• A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
  推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。 我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2023-04-17T00:38:01Z)
• On Differential Privacy and Adaptive Data Analysis with Bounded Space [76.10334958368618]
  差分プライバシーと適応データ分析の2つの関連分野の空間複雑性について検討する。 差分プライバシーで効率的に解くために指数関数的に多くの空間を必要とする問題Pが存在することを示す。 アダプティブデータ分析の研究の行は、アダプティブクエリのシーケンスに応答するのに必要なサンプルの数を理解することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-02-11T14:45:31Z)
• Revisiting Hyperparameter Tuning with Differential Privacy [1.6425841685973384]
  我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。 我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。 追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
  論文  参考訳（メタデータ） (2022-11-03T14:42:19Z)
• Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
  我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。 本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2022-09-08T22:43:50Z)
• Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss [34.66940399825547]
  業界は単純なアルゴリズムを広く採用している:騒音を伴うグラディエントDescent(グラディエントLangevin Dynamics) このアルゴリズムのプライバシ損失に関する疑問は、バウンドドメイン上の滑らかな凸損失の一見単純な設定であっても、まだオープンである。 我々は、差分プライバシーを一定の要因まで特徴づけ、小さなバーンイン期間の後、SGDの実行がこれ以上のプライバシーを漏らさないことを示す。
  論文  参考訳（メタデータ） (2022-05-27T02:09:55Z)
• Debugging Differential Privacy: A Case Study for Privacy Auditing [60.87570714269048]
  監査は、微分プライベートなスキームの欠陥を見つけるためにも利用できることを示す。 このケーススタディでは、微分プライベートなディープラーニングアルゴリズムの最近のオープンソース実装を監査し、99.9999999999%の信頼を得て、この実装が要求される差分プライバシー保証を満たさないことを発見した。
  論文  参考訳（メタデータ） (2022-02-24T17:31:08Z)
• Hyperparameter Tuning with Renyi Differential Privacy [31.522386779876598]
  差分プライベートアルゴリズムの価値を微調整するために必要な複数のトレーニング実行から生じるプライバシリークについて検討する。 我々は、Renyi差分プライバシーの枠組みの中で、ハイパーパラメータ検索手順のプライバシー保証を提供する。
  論文  参考訳（メタデータ） (2021-10-07T16:58:46Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)
• Individual Privacy Accounting via a Renyi Filter [33.65665839496798]
  個人ごとのパーソナライズされたプライバシ損失推定値に基づいて、より厳格なプライバシ損失会計を行う方法を提案する。 我々のフィルターは、Rogersらによる$(epsilon,delta)$-differential privacyの既知のフィルタよりもシンプルできつい。
  論文  参考訳（メタデータ） (2020-08-25T17:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。