論文の概要: R+R:Understanding Hyperparameter Effects in DP-SGD

• arxiv url: http://arxiv.org/abs/2411.02051v1
• Date: Mon, 04 Nov 2024 12:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:51.891548
• Title: R+R:Understanding Hyperparameter Effects in DP-SGD
• Title（参考訳）: R+R:DP-SGDにおけるハイパーパラメータ効果
• Authors: Felix Morsbach, Jan Reubold, Thorsten Strufe,
• Abstract要約: DP-SGDはプライバシー保護機械学習の標準的な最適化アルゴリズムである。 プライベートでない学習アプローチに比べて、パフォーマンスの低いアプローチでは、依然として一般的な課題である。
• 参考スコア（独自算出の注目度）: 3.0668784884950235
• License:
• Abstract: Research on the effects of essential hyperparameters of DP-SGD lacks consensus, verification, and replication. Contradictory and anecdotal statements on their influence make matters worse. While DP-SGD is the standard optimization algorithm for privacy-preserving machine learning, its adoption is still commonly challenged by low performance compared to non-private learning approaches. As proper hyperparameter settings can improve the privacy-utility trade-off, understanding the influence of the hyperparameters promises to simplify their optimization towards better performance, and likely foster acceptance of private learning. To shed more light on these influences, we conduct a replication study: We synthesize extant research on hyperparameter influences of DP-SGD into conjectures, conduct a dedicated factorial study to independently identify hyperparameter effects, and assess which conjectures can be replicated across multiple datasets, model architectures, and differential privacy budgets. While we cannot (consistently) replicate conjectures about the main and interaction effects of the batch size and the number of epochs, we were able to replicate the conjectured relationship between the clipping threshold and learning rate. Furthermore, we were able to quantify the significant importance of their combination compared to the other hyperparameters.
• Abstract（参考訳）: DP-SGDの本質的ハイパーパラメータの効果に関する研究は、コンセンサス、検証、複製を欠いている。 それらの影響に関する矛盾や逸話的な発言は、事態を悪化させる。 DP-SGDは、プライバシ保護機械学習の標準的な最適化アルゴリズムであるが、非プライベートな学習アプローチと比較して、その採用は低いパフォーマンスで、依然として疑問視されている。 適切なハイパーパラメータ設定は、プライバシとユーティリティのトレードオフを改善することができるため、ハイパーパラメータの影響を理解することは、パフォーマンス向上への最適化を簡素化し、プライベートラーニングの受け入れを促進することを約束する。 DP-SGDのハイパーパラメータ影響に関する既存の研究を仮説に合成し、ハイパーパラメータ効果を独立に同定する専用の因子分析を行い、複数のデータセット、モデルアーキテクチャ、差分プライバシー予算でどの予想を複製できるかを評価する。 バッチサイズとエポック数の主および相互作用効果に関する予想を(一貫して)再現することはできないが、クリッピング閾値と学習率の関係を再現することができた。 さらに,他のハイパーパラメータと比較して,それらの組み合わせの重要性を定量化することができた。

関連論文リスト

• Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
  ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。 本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。 その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-20T00:11:59Z)
• Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and Dysarthric Speech Recognition [64.9816313630768]
  ファインチューニングは、多くの非高齢および健康な音声事前訓練モデルを利用するためにしばしば用いられる。 本稿では,Librispeech corpus 上で事前学習した Conformer ASR システムのハイパーパラメータ適応について検討する。
  論文  参考訳（メタデータ） (2023-06-27T07:49:35Z)
• Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens [10.727571921061024]
  Differentially Private Descent Gradient (DPSGD)は、プライバシ保護モデルをトレーニングするための最先端の手法である。 アクティベーション関数をドロップインで置き換えることで、新しい最先端の精度を実現する。
  論文  参考訳（メタデータ） (2023-03-03T09:59:42Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• Towards Differential Relational Privacy and its use in Question Answering [109.4452196071872]
  データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。 我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。 質問回答のための大規模モデルを用いた実験において,概念を解説する。
  論文  参考訳（メタデータ） (2022-03-30T22:59:24Z)
• Differentially Private Estimation of Heterogeneous Causal Effects [9.355532300027727]
  本稿では,条件付き平均治療効果(CATE)を差分プライバシー保証で推定するための一般的なメタアルゴリズムを提案する。 我々のメタアルゴリズムは、SラーナーやDRやRラーナーのようなより複雑な多段推定器のような単純な単段CATE推定器で動作する。
  論文  参考訳（メタデータ） (2022-02-22T17:21:18Z)
• Explaining Hyperparameter Optimization via Partial Dependence Plots [5.25855526614851]
  我々は、解釈型機械学習(IML)を用いて、ベイズ最適化(BO)を用いたHPOで得られた実験データから洞察を得ることを提案する。 BOサロゲートモデルの後方不確実性を利用して、推定信頼帯域を持つ部分依存プロット(PDP)の変種を導入する。 本研究では,サブリージョンにおけるPDPの質向上に関する定量的証拠を実験的に提示する。
  論文  参考訳（メタデータ） (2021-11-08T20:51:54Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。