論文の概要: Second-Order Convergence in Private Stochastic Non-Convex Optimization

• arxiv url: http://arxiv.org/abs/2505.15647v1
• Date: Wed, 21 May 2025 15:25:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.740349
• Title: Second-Order Convergence in Private Stochastic Non-Convex Optimization
• Title（参考訳）: プライベート確率的非凸最適化における2次収束
• Authors: Youming Tao, Zuyuan Zhang, Dongxiao Yu, Xiuzhen Cheng, Falko Dressler, Di Wang,
• Abstract要約: 微分プライベート(DP)非次元同定最適化における2次定常点(SOS)の探索問題について検討する。 既存手法はサドル点エスケープ解析における勾配変動による不正確な収束誤差に悩まされている。 我々は,先行研究で報告された収束誤差を補正する新しいDPアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 28.00987194971941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the problem of finding second-order stationary points (SOSP) in differentially private (DP) stochastic non-convex optimization. Existing methods suffer from two key limitations: (i) inaccurate convergence error rate due to overlooking gradient variance in the saddle point escape analysis, and (ii) dependence on auxiliary private model selection procedures for identifying DP-SOSP, which can significantly impair utility, particularly in distributed settings. To address these issues, we propose a generic perturbed stochastic gradient descent (PSGD) framework built upon Gaussian noise injection and general gradient oracles. A core innovation of our framework is using model drift distance to determine whether PSGD escapes saddle points, ensuring convergence to approximate local minima without relying on second-order information or additional DP-SOSP identification. By leveraging the adaptive DP-SPIDER estimator as a specific gradient oracle, we develop a new DP algorithm that rectifies the convergence error rates reported in prior work. We further extend this algorithm to distributed learning with arbitrarily heterogeneous data, providing the first formal guarantees for finding DP-SOSP in such settings. Our analysis also highlights the detrimental impacts of private selection procedures in distributed learning under high-dimensional models, underscoring the practical benefits of our design. Numerical experiments on real-world datasets validate the efficacy of our approach.
• Abstract（参考訳）: 微分プライベート(DP)確率非凸最適化における2次定常点(SOSP)の探索問題について検討する。 既存のメソッドには2つの重要な制限がある。 (i)サドルポイントエスケープ解析における勾配変動による不正確な収束誤差率、及び (II)DP-SOSPを識別するための補助的プライベートモデル選択手順に依存しており、特に分散環境では実用性を著しく損なう可能性がある。 これらの問題に対処するために,ガウス雑音注入と一般化勾配オラクルに基づく一般摂動確率勾配降下(PSGD)フレームワークを提案する。 フレームワークの中核となる革新は、PSGDがサドル点から脱出するかどうかをモデルドリフト距離を用いて決定し、二次情報やDP-SOSPの同定に頼らずに局所最小値の収束を確保することである。 適応DP-SPIDER推定器を特定の勾配オラクルとして利用することにより,先行研究で報告された収束誤差率を補正する新しいDPアルゴリズムを開発した。 さらに、このアルゴリズムを任意に不均一なデータを用いて分散学習に拡張し、DP-SOSPをそのような設定で見つけるための最初の正式な保証を提供する。 また,高次元モデル下での分散学習における私的選択手順の有害な影響も強調し,設計の実用的メリットを浮き彫りにした。 実世界のデータセットに関する数値実験により,本手法の有効性が検証された。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。