論文の概要: On the Convergence of DP-SGD with Adaptive Clipping

• arxiv url: http://arxiv.org/abs/2412.19916v1
• Date: Fri, 27 Dec 2024 20:29:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:37.695730
• Title: On the Convergence of DP-SGD with Adaptive Clipping
• Title（参考訳）: 適応クリッピングによるDP-SGDの収束性について
• Authors: Egor Shulgin, Peter Richtárik,
• Abstract要約: 勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
• 参考スコア（独自算出の注目度）: 56.24689348875711
• License:
• Abstract: Stochastic Gradient Descent (SGD) with gradient clipping is a powerful technique for enabling differentially private optimization. Although prior works extensively investigated clipping with a constant threshold, private training remains highly sensitive to threshold selection, which can be expensive or even infeasible to tune. This sensitivity motivates the development of adaptive approaches, such as quantile clipping, which have demonstrated empirical success but lack a solid theoretical understanding. This paper provides the first comprehensive convergence analysis of SGD with quantile clipping (QC-SGD). We demonstrate that QC-SGD suffers from a bias problem similar to constant-threshold clipped SGD but show how this can be mitigated through a carefully designed quantile and step size schedule. Our analysis reveals crucial relationships between quantile selection, step size, and convergence behavior, providing practical guidelines for parameter selection. We extend these results to differentially private optimization, establishing the first theoretical guarantees for DP-QC-SGD. Our findings provide theoretical foundations for widely used adaptive clipping heuristic and highlight open avenues for future research.
• Abstract（参考訳）: 勾配クリッピングを用いたSGD(Stochastic Gradient Descent)は、微分プライベート最適化を実現するための強力な技術である。 以前の研究は、一定の閾値でクリッピングを広範囲に調査していたが、プライベートトレーニングは閾値の選択に非常に敏感であり、これは高価であり、チューニングも不可能である。 この感度は、経験的成功を示すが、しっかりとした理論的理解が欠如している量子的クリッピングのような適応的なアプローチの発展を動機付けている。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析を行う。 本研究では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題に悩まされていることを実証する。 分析の結果,定量選択,ステップサイズ,収束挙動と重要な関係が明らかとなり,パラメータ選択の実践的ガイドラインが得られた。 この結果から,DP-QC-SGDの理論的保証が確立された。 本研究は,適応型クリッピングヒューリスティックの理論的基礎を提供し,今後の研究への道を開くものである。

関連論文リスト

• Bayesian Parameter Shift Rule in Variational Quantum Eigensolvers [4.431744869863552]
  本稿では、適切なカーネルを持つガウス過程を用いてVQE目標の勾配を推定するベイズ変法を提案する。 勾配降下(SGD)では、ベイズPSRの柔軟性により、前のステップでの観測の再利用が可能となり、最適化プロセスが加速される。 数値実験の結果,ベイジアンPSRとGradCoReによるVQE最適化はSGDを著しく高速化し,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-04T14:44:31Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
  我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。 我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
  論文  参考訳（メタデータ） (2022-06-27T01:39:15Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。