Fugu-MT 論文翻訳(概要): Efficient Hyperparameter Optimization for Differentially Private Deep Learning

論文の概要: Efficient Hyperparameter Optimization for Differentially Private Deep Learning

arxiv url: http://arxiv.org/abs/2108.03888v1
Date: Mon, 9 Aug 2021 09:18:22 GMT
ステータス: 処理完了
システム内更新日: 2021-08-11 00:03:08.864897
Title: Efficient Hyperparameter Optimization for Differentially Private Deep Learning
Title（参考訳）: 微分プライベート深層学習のための高効率ハイパーパラメータ最適化
Authors: Aman Priyanshu, Rakshit Naidu, Fatemehsadat Mireshghallah, Mohammad Malekzadeh
Abstract要約: 望ましいプライバシーとユーティリティのトレードオフを確立するための一般的な最適化フレームワークを定式化します。提案手法では,進化的,ベイズ的,強化学習の3つの費用対効果アルゴリズムについて検討する。私たちの研究がプライベートなディープラーニングのパイプラインで活用できると信じているので、コードをhttps://github.com/AmanPriyanshu/DP-HyperparamTuning.comに公開しています。
参考スコア（独自算出の注目度）: 1.7205106391379026
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Tuning the hyperparameters in the differentially private stochastic gradient descent (DPSGD) is a fundamental challenge. Unlike the typical SGD, private datasets cannot be used many times for hyperparameter search in DPSGD; e.g., via a grid search. Therefore, there is an essential need for algorithms that, within a given search space, can find near-optimal hyperparameters for the best achievable privacy-utility tradeoffs efficiently. We formulate this problem into a general optimization framework for establishing a desirable privacy-utility tradeoff, and systematically study three cost-effective algorithms for being used in the proposed framework: evolutionary, Bayesian, and reinforcement learning. Our experiments, for hyperparameter tuning in DPSGD conducted on MNIST and CIFAR-10 datasets, show that these three algorithms significantly outperform the widely used grid search baseline. As this paper offers a first-of-a-kind framework for hyperparameter tuning in DPSGD, we discuss existing challenges and open directions for future studies. As we believe our work has implications to be utilized in the pipeline of private deep learning, we open-source our code at https://github.com/AmanPriyanshu/DP-HyperparamTuning.
Abstract（参考訳）: 微分プライベート確率勾配降下(DPSGD)におけるハイパーパラメータの調整は、根本的な課題である。一般的なSGDとは異なり、プライベートデータセットはDPSGDのハイパーパラメータサーチ(グリッドサーチなど)に何度も使用することはできない。したがって、与えられた検索空間内では、最善のプライバシ利用トレードオフのために最適に近いハイパーパラメータを効率的に見つけることができるアルゴリズムが必要不可欠である。我々は,この問題を,望ましいプライバシ・ユーティリティ・トレードオフを確立するための一般的な最適化フレームワークとして定式化し,提案フレームワークで使用される3つの費用対効果アルゴリズム(進化的,ベイズ的,強化学習)を体系的に研究する。 MNISTとCIFAR-10データセットを用いたDPSGDのハイパーパラメータチューニング実験により,これらの3つのアルゴリズムが広範に使用されているグリッドサーチベースラインを著しく上回ることを示す。本稿では,dpsgdにおけるハイパーパラメータチューニングのための初歩的なフレームワークを提供するため,既存の課題と今後の研究の方向性について考察する。私たちの研究がプライベートなディープラーニングのパイプラインで活用できると信じているので、コードをhttps://github.com/AmanPriyanshu/DP-HyperparamTuning.comに公開しています。

関連論文リスト

Deep Learning to Predict Late-Onset Breast Cancer Metastasis: the Single Hyperparameter Grid Search (SHGS) Strategy for Meta Tuning Concerning Deep Feed-forward Neural Network [7.332652485849632]
n年前から乳がんの転移を予測できるDFNNモデルの構築に取り組んできた。この課題は、時間とリソースの制約を考慮して、グリッドサーチによって最適なハイパーパラメータ値を効率的に特定することにある。
論文参考訳（メタデータ） (2024-08-28T03:00:43Z)
Towards Fair and Rigorous Evaluations: Hyperparameter Optimization for Top-N Recommendation Task with Implicit Feedback [23.551171147404766]
我々は,Top-Nの暗黙的推薦問題を調査し,ベンチマーク推薦アルゴリズムの最適化に焦点をあてる。公正比較の原則に従う研究手法を提案する。
論文参考訳（メタデータ） (2024-08-14T15:56:27Z)
Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文参考訳（メタデータ） (2023-11-24T17:56:44Z)
PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文参考訳（メタデータ） (2023-06-21T16:26:14Z)
DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。フレームワークの総合的な差分プライバシー分析を提供する。本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
論文参考訳（メタデータ） (2023-06-09T07:55:46Z)
Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文参考訳（メタデータ） (2023-05-24T13:44:02Z)
Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
論文参考訳（メタデータ） (2023-01-27T21:01:58Z)
AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文参考訳（メタデータ） (2022-03-15T19:25:01Z)
Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文参考訳（メタデータ） (2021-10-27T04:11:06Z)
An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文参考訳（メタデータ） (2020-07-11T03:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。