論文の概要: Efficient Hyperparameter Optimization for Differentially Private Deep
Learning
- arxiv url: http://arxiv.org/abs/2108.03888v1
- Date: Mon, 9 Aug 2021 09:18:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 00:03:08.864897
- Title: Efficient Hyperparameter Optimization for Differentially Private Deep
Learning
- Title(参考訳): 微分プライベート深層学習のための高効率ハイパーパラメータ最適化
- Authors: Aman Priyanshu, Rakshit Naidu, Fatemehsadat Mireshghallah, Mohammad
Malekzadeh
- Abstract要約: 望ましいプライバシーとユーティリティのトレードオフを確立するための一般的な最適化フレームワークを定式化します。
提案手法では,進化的,ベイズ的,強化学習の3つの費用対効果アルゴリズムについて検討する。
私たちの研究がプライベートなディープラーニングのパイプラインで活用できると信じているので、コードをhttps://github.com/AmanPriyanshu/DP-HyperparamTuning.comに公開しています。
- 参考スコア(独自算出の注目度): 1.7205106391379026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tuning the hyperparameters in the differentially private stochastic gradient
descent (DPSGD) is a fundamental challenge. Unlike the typical SGD, private
datasets cannot be used many times for hyperparameter search in DPSGD; e.g.,
via a grid search. Therefore, there is an essential need for algorithms that,
within a given search space, can find near-optimal hyperparameters for the best
achievable privacy-utility tradeoffs efficiently. We formulate this problem
into a general optimization framework for establishing a desirable
privacy-utility tradeoff, and systematically study three cost-effective
algorithms for being used in the proposed framework: evolutionary, Bayesian,
and reinforcement learning. Our experiments, for hyperparameter tuning in DPSGD
conducted on MNIST and CIFAR-10 datasets, show that these three algorithms
significantly outperform the widely used grid search baseline. As this paper
offers a first-of-a-kind framework for hyperparameter tuning in DPSGD, we
discuss existing challenges and open directions for future studies. As we
believe our work has implications to be utilized in the pipeline of private
deep learning, we open-source our code at
https://github.com/AmanPriyanshu/DP-HyperparamTuning.
- Abstract(参考訳): 微分プライベート確率勾配降下(DPSGD)におけるハイパーパラメータの調整は、根本的な課題である。
一般的なSGDとは異なり、プライベートデータセットはDPSGDのハイパーパラメータサーチ(グリッドサーチなど)に何度も使用することはできない。
したがって、与えられた検索空間内では、最善のプライバシ利用トレードオフのために最適に近いハイパーパラメータを効率的に見つけることができるアルゴリズムが必要不可欠である。
我々は,この問題を,望ましいプライバシ・ユーティリティ・トレードオフを確立するための一般的な最適化フレームワークとして定式化し,提案フレームワークで使用される3つの費用対効果アルゴリズム(進化的,ベイズ的,強化学習)を体系的に研究する。
MNISTとCIFAR-10データセットを用いたDPSGDのハイパーパラメータチューニング実験により,これらの3つのアルゴリズムが広範に使用されているグリッドサーチベースラインを著しく上回ることを示す。
本稿では,dpsgdにおけるハイパーパラメータチューニングのための初歩的なフレームワークを提供するため,既存の課題と今後の研究の方向性について考察する。
私たちの研究がプライベートなディープラーニングのパイプラインで活用できると信じているので、コードをhttps://github.com/AmanPriyanshu/DP-HyperparamTuning.comに公開しています。
関連論文リスト
- Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文 参考訳(メタデータ) (2023-06-21T16:26:14Z) - DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。
フレームワークの総合的な差分プライバシー分析を提供する。
本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
論文 参考訳(メタデータ) (2023-06-09T07:55:46Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。
我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。
本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
論文 参考訳(メタデータ) (2023-01-27T21:01:58Z) - Revisiting Hyperparameter Tuning with Differential Privacy [1.6425841685973384]
我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。
我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。
追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
論文 参考訳(メタデータ) (2022-11-03T14:42:19Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-03-15T19:25:01Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - A Population-based Hybrid Approach to Hyperparameter Optimization for
Neural Networks [0.0]
HBRKGAは、Biased Random Key Genetic AlgorithmとRandom Walk技術を組み合わせて、ハイパーパラメータ空間を効率的に探索するハイブリッドアプローチである。
その結果、HBRKGAは8つのデータセットのうち6つにおいて、ベースライン法よりも優れたハイパーパラメータ構成を見つけることができた。
論文 参考訳(メタデータ) (2020-11-22T17:12:31Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳(メタデータ) (2020-07-11T03:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。