論文の概要: DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework

• arxiv url: http://arxiv.org/abs/2306.05734v2
• Date: Mon, 27 Nov 2023 01:00:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 15:44:50.388154
• Title: DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework
• Title（参考訳）: DP-HyPO: 適応型プライベートハイパーパラメータ最適化フレームワーク
• Authors: Hua Wang, Sheng Gao, Huanyu Zhang, Weijie J. Su, Milan Shen
• Abstract要約: 適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。 フレームワークの総合的な差分プライバシー分析を提供する。 本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
• 参考スコア（独自算出の注目度）: 31.628466186344582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization, also known as hyperparameter tuning, is a widely recognized technique for improving model performance. Regrettably, when training private ML models, many practitioners often overlook the privacy risks associated with hyperparameter optimization, which could potentially expose sensitive information about the underlying dataset. Currently, the sole existing approach to allow privacy-preserving hyperparameter optimization is to uniformly and randomly select hyperparameters for a number of runs, subsequently reporting the best-performing hyperparameter. In contrast, in non-private settings, practitioners commonly utilize ``adaptive'' hyperparameter optimization methods such as Gaussian process-based optimization, which select the next candidate based on information gathered from previous outputs. This substantial contrast between private and non-private hyperparameter optimization underscores a critical concern. In our paper, we introduce DP-HyPO, a pioneering framework for ``adaptive'' private hyperparameter optimization, aiming to bridge the gap between private and non-private hyperparameter optimization. To accomplish this, we provide a comprehensive differential privacy analysis of our framework. Furthermore, we empirically demonstrate the effectiveness of DP-HyPO on a diverse set of real-world datasets.
• Abstract（参考訳）: ハイパーパラメータ最適化(Hyperparameter Optimization)またはハイパーパラメータチューニング(Hyperparameter tuning)は、モデル性能を改善する技術として広く知られている。 当然ながら、プライベートMLモデルをトレーニングする場合、多くの実践者は、ハイパーパラメータ最適化に関連するプライバシーリスクを見落としていることが多い。 現在、プライバシを保全するハイパーパラメータの最適化を可能にする唯一の既存のアプローチは、複数の実行に対して一様かつランダムにハイパーパラメータを選択し、次に最もパフォーマンスの高いハイパーパラメータを報告することである。 対照的に、非プライベートな環境では、実践者は従来の出力から収集した情報に基づいて次の候補を選択するガウス過程に基づく最適化のような「適応」ハイパーパラメータ最適化手法を一般的に利用する。 プライベートと非プライベートのハイパーパラメータ最適化との大きな対比は、重要な懸念点である。 本稿では,「適応型」プライベートハイパーパラメータ最適化の先駆的フレームワークであるDP-HyPOを紹介し,プライベートと非プライベートのハイパーパラメータ最適化のギャップを埋めることを目的とした。 これを実現するために、我々はフレームワークの包括的な差分プライバシー分析を提供する。 さらに,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
  そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。 我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。 本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-27T21:01:58Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• The Role of Adaptive Optimizers for Honest Private Hyperparameter Selection [12.38071940409141]
  標準合成ツールは、多くの設定において、より高度な技術よりも優れていることを示す。 我々は、新しいより効率的なツールを設計するために、DP設定におけるAdamの制限的な振る舞いを描きます。
  論文  参考訳（メタデータ） (2021-11-09T01:56:56Z)
• Automatic prior selection for meta Bayesian optimization with a case study on tuning deep neural network optimizers [47.013395100497775]
  このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。 BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。 我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Tuning Word2vec for Large Scale Recommendation Systems [14.074296985040704]
  Word2vecはNatural Lan-guage Processing(NLP)から生まれた強力な機械学習ツール 本研究では,制約のない最適化により,パラメータよりも平均221%のヒット率向上が得られることを示す。 予算制約付き高パラメータ最適化によるヒット率平均138%の改善を実証した。
  論文  参考訳（メタデータ） (2020-09-24T10:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。