論文の概要: Revisiting Hyperparameter Tuning with Differential Privacy

• arxiv url: http://arxiv.org/abs/2211.01852v3
• Date: Fri, 23 May 2025 10:54:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.331313
• Title: Revisiting Hyperparameter Tuning with Differential Privacy
• Title（参考訳）: 差分プライバシーによるハイパーパラメータチューニングの再検討
• Authors: Youlong Ding, Xueyang Wu,
• Abstract要約: 我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。 我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。 追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
• 参考スコア（独自算出の注目度）: 2.089340709037618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter tuning is a common practice in the application of machine learning but is a typically ignored aspect in the literature on privacy-preserving machine learning due to its negative effect on the overall privacy parameter. In this paper, we aim to tackle this fundamental yet challenging problem by providing an effective hyperparameter tuning framework with differential privacy. The proposed method allows us to adopt a broader hyperparameter search space and even to perform a grid search over the whole space, since its privacy loss parameter is independent of the number of hyperparameter candidates. Interestingly, it instead correlates with the utility gained from hyperparameter searching, revealing an explicit and mandatory trade-off between privacy and utility. Theoretically, we show that its additional privacy loss bound incurred by hyperparameter tuning is upper-bounded by the squared root of the gained utility. However, we note that the additional privacy loss bound would empirically scale like a squared root of the logarithm of the utility term, benefiting from the design of doubling step.
• Abstract（参考訳）: ハイパーパラメータチューニングは機械学習の応用において一般的なプラクティスであるが、全体的なプライバシパラメータに負の影響があるため、プライバシ保存機械学習に関する文献では一般的に無視される側面である。 本稿では,差分プライバシーを備えた効果的なハイパーパラメータチューニングフレームワークを提供することにより,この根本的な課題に対処することを目的とする。 提案手法は,ハイパーパラメータの候補数に依存しないため,より広い範囲のハイパーパラメータ検索空間を適用でき,また,全体にわたってグリッド検索を行うこともできる。 興味深いことに、それはハイパーパラメーター検索から得られたユーティリティと相関し、プライバシーとユーティリティの明確なトレードオフを明らかにしている。 理論的には、ハイパーパラメータチューニングによって引き起こされる追加のプライバシー損失は、得られたユーティリティの平方根によって上界にあることを示す。 しかし、この追加のプライバシー損失境界は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。

関連論文リスト

• Empirical Privacy Variance [32.41387301450962]
  モデルのキャリブレーションが同じ$(varepsilon, delta)$-DPの保証は、経験的プライバシにおいて大きなバリエーションを示すことを示す。 複数の次元にわたるこの現象の一般性について検討し、なぜ驚きかつ関連性があるのかを論じる。 プライバシ監査のような既存のテクニックの限界を特定し,今後の研究に向けたオープンな質問を概説する。
  論文  参考訳（メタデータ） (2025-03-16T01:43:49Z)
• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Revisiting Differentially Private Hyper-parameter Tuning [20.278323915802805]
  最近の研究はチューニングプロセスに汎用的なプライベートセレクションソリューションを提案するが、根本的な疑問が残る。 本稿では,この問題について詳細に検討する。 以上の結果から, 厳密な監査設定下においても, 現在の理論的プライバシー境界と経験的バウンダリとの間には, かなりのギャップがあることが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T15:29:49Z)
• DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
  適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。 フレームワークの総合的な差分プライバシー分析を提供する。 本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-09T07:55:46Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
  推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。 我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2023-04-17T00:38:01Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
  我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。 本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2022-09-08T22:43:50Z)
• A Blessing of Dimensionality in Membership Inference through Regularization [29.08230123469755]
  モデルのパラメータ数がいかにプライバシーとユーティリティのトレードオフを引き起こすかを示す。 次に、適切な一般化正規化と組み合わせることで、モデルのパラメータの数を増やすことで、そのプライバシと性能の両方を実際に増加させることができることを示す。
  論文  参考訳（メタデータ） (2022-05-27T15:44:00Z)
• Hyperparameter Tuning with Renyi Differential Privacy [31.522386779876598]
  差分プライベートアルゴリズムの価値を微調整するために必要な複数のトレーニング実行から生じるプライバシリークについて検討する。 我々は、Renyi差分プライバシーの枠組みの中で、ハイパーパラメータ検索手順のプライバシー保証を提供する。
  論文  参考訳（メタデータ） (2021-10-07T16:58:46Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Efficient Hyperparameter Optimization for Differentially Private Deep Learning [1.7205106391379026]
  望ましいプライバシーとユーティリティのトレードオフを確立するための一般的な最適化フレームワークを定式化します。 提案手法では,進化的,ベイズ的,強化学習の3つの費用対効果アルゴリズムについて検討する。 私たちの研究がプライベートなディープラーニングのパイプラインで活用できると信じているので、コードをhttps://github.com/AmanPriyanshu/DP-HyperparamTuning.comに公開しています。
  論文  参考訳（メタデータ） (2021-08-09T09:18:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。