論文の概要: Smoothed Normalization for Efficient Distributed Private Optimization

• arxiv url: http://arxiv.org/abs/2502.13482v1
• Date: Wed, 19 Feb 2025 07:10:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:47.291399
• Title: Smoothed Normalization for Efficient Distributed Private Optimization
• Title（参考訳）: 効率的な分散プライベート最適化のための平滑正規化
• Authors: Egor Shulgin, Sarit Khirirat, Peter Richtárik,
• Abstract要約: フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
• 参考スコア（独自算出の注目度）: 54.197255548244705
• License:
• Abstract: Federated learning enables training machine learning models while preserving the privacy of participants. Surprisingly, there is no differentially private distributed method for smooth, non-convex optimization problems. The reason is that standard privacy techniques require bounding the participants' contributions, usually enforced via $\textit{clipping}$ of the updates. Existing literature typically ignores the effect of clipping by assuming the boundedness of gradient norms or analyzes distributed algorithms with clipping but ignores DP constraints. In this work, we study an alternative approach via $\textit{smoothed normalization}$ of the updates motivated by its favorable performance in the single-node setting. By integrating smoothed normalization with an error-feedback mechanism, we design a new distributed algorithm $\alpha$-$\sf NormEC$. We prove that our method achieves a superior convergence rate over prior works. By extending $\alpha$-$\sf NormEC$ to the DP setting, we obtain the first differentially private distributed optimization algorithm with provable convergence guarantees. Finally, our empirical results from neural network training indicate robust convergence of $\alpha$-$\sf NormEC$ across different parameter settings.
• Abstract（参考訳）: フェデレーション学習は、参加者のプライバシを維持しながら、機械学習モデルをトレーニングすることを可能にする。 驚くべきことに、スムーズで非凸最適化問題に対する微分プライベートな分散手法は存在しない。 標準プライバシ技術は参加者のコントリビューションを制限しなければならないため,通常は$\textit{clipping}$で実施される。 既存の文献は典型的にはクリッピングの効果を無視し、勾配ノルムの有界性を仮定したり、クリッピングで分散アルゴリズムを解析するが、DP制約は無視する。 本研究は, 単一ノード設定で好適な性能を実現するために, $\textit{smoothed normalization}$による代替手法について検討する。 スムーズな正規化とエラーフィードバック機構を組み合わせることで、我々は新しい分散アルゴリズム $\alpha$-$\sf NormEC$ を設計する。 我々は,本手法が先行研究よりも優れた収束率を実現することを証明した。 DP設定に$\alpha$-$\sf NormEC$を拡張することにより、証明可能な収束保証を持つ最初の微分プライベート分散最適化アルゴリズムを得る。 最後に、ニューラルネットワークトレーニングによる経験的結果は、パラメータ設定の異なる$\alpha$-$\sf NormEC$の堅牢な収束を示している。

関連論文リスト

• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Differentially Private Online-to-Batch for Smooth Losses [38.23708749658059]
  我々は,オンライン凸最適化アルゴリズムが$O(sqrtT)$ regretを,最適収束率$tilde O(sqrtT + sqrtd/epsilon T)$で$epsilon$-differentially private convexアルゴリズムに変換することで,線形時間におけるスムーズな損失を解消する手法を開発した。
  論文  参考訳（メタデータ） (2022-10-12T21:13:31Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits [9.798304879986604]
  本研究では,分散分布からサンプリングしたストリーミングデータを用いてDPの凸最適化問題について検討し,逐次到着する。 また、プライベート情報に関連するパラメータを更新し、新しいデータ(しばしばオンラインアルゴリズム)に基づいてリリースする連続リリースモデルについても検討する。 提案アルゴリズムは,1pleq 2$のときの最適余剰リスクと,2pleqinfty$のときの非プライベートな場合の最先端の余剰リスクを線形時間で達成する。
  論文  参考訳（メタデータ） (2022-06-16T12:09:47Z)
• Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
  フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。 ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。 分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
  論文  参考訳（メタデータ） (2021-11-10T22:12:52Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• Output Perturbation for Differentially Private Convex Optimization with Improved Population Loss Bounds, Runtimes and Applications to Private Adversarial Training [12.386462516398469]
  強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。 我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。 我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
  論文  参考訳（メタデータ） (2021-02-09T08:47:06Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。