論文の概要: Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy

• arxiv url: http://arxiv.org/abs/2405.02341v1
• Date: Thu, 2 May 2024 03:48:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 20:29:40.627840
• Title: Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy
• Title（参考訳）: 差分プライバシストリーミングによるL_2$平均推定における通信プライバシトレードオフの改善
• Authors: Wei-Ning Chen, Berivan Isik, Peter Kairouz, Albert No, Sewoong Oh, Zheng Xu,
• Abstract要約: 既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
• 参考スコア（独自算出の注目度）: 47.997934291881414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study $L_2$ mean estimation under central differential privacy and communication constraints, and address two key challenges: firstly, existing mean estimation schemes that simultaneously handle both constraints are usually optimized for $L_\infty$ geometry and rely on random rotation or Kashin's representation to adapt to $L_2$ geometry, resulting in suboptimal leading constants in mean square errors (MSEs); secondly, schemes achieving order-optimal communication-privacy trade-offs do not extend seamlessly to streaming differential privacy (DP) settings (e.g., tree aggregation or matrix factorization), rendering them incompatible with DP-FTRL type optimizers. In this work, we tackle these issues by introducing a novel privacy accounting method for the sparsified Gaussian mechanism that incorporates the randomness inherent in sparsification into the DP noise. Unlike previous approaches, our accounting algorithm directly operates in $L_2$ geometry, yielding MSEs that fast converge to those of the uncompressed Gaussian mechanism. Additionally, we extend the sparsification scheme to the matrix factorization framework under streaming DP and provide a precise accountant tailored for DP-FTRL type optimizers. Empirically, our method demonstrates at least a 100x improvement of compression for DP-SGD across various FL tasks.
• Abstract（参考訳）: まず、両制約を同時に扱う既存の平均推定スキームは、通常、$L_\infty$幾何に対して最適化され、ランダム回転またはKashinの表現に依存して、平均二乗誤差(MSEs)に適応する。 本研究では,分散化に固有のランダム性をDPノイズに組み込んだ,分散化ガウス機構の新たなプライバシ会計手法を導入することにより,これらの課題に対処する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L_2$幾何で動作し、非圧縮ガウスの機構に迅速に収束するMSEが得られる。 さらに,このスペーシフィケーションスキームを,ストリーミングDP下での行列分解フレームワークに拡張し,DP-FTRL型オプティマイザに適した正確な会計情報を提供する。 実験により, DP-SGD の圧縮性能は FL タスクの少なくとも 100 倍向上したことを示す。

関連論文リスト

• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy [11.356444450240799]
  既存のアルゴリズムは、強い微分プライバシー(DP)と最適化の保証を一度に達成しない。 クリッピング,重球運動量,誤差フィードバックを組み合わせたClip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2025-02-17T11:16:21Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes [57.24311218570012]
  EF21-P (匿名2024) と MARINA-P (arXiv:2402.06412) の非滑らか凸理論を非サイズ凸設定で拡張する。 我々は、定数、減少、適応(aktype)ステップの理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-12-22T16:18:34Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Differentially Private Decentralized Optimization with Relay Communication [1.2695958417031445]
  プライバシリーク頻度(PLF)は,アルゴリズムの通信とプライバシリークの関係を明らかにする指標である。 DP-RECAL は, 演算子分割法と中継通信機構を利用して, PLF の低減を図っている。
  論文  参考訳（メタデータ） (2022-12-21T09:05:36Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits [9.798304879986604]
  本研究では,分散分布からサンプリングしたストリーミングデータを用いてDPの凸最適化問題について検討し,逐次到着する。 また、プライベート情報に関連するパラメータを更新し、新しいデータ(しばしばオンラインアルゴリズム)に基づいてリリースする連続リリースモデルについても検討する。 提案アルゴリズムは,1pleq 2$のときの最適余剰リスクと,2pleqinfty$のときの非プライベートな場合の最先端の余剰リスクを線形時間で達成する。
  論文  参考訳（メタデータ） (2022-06-16T12:09:47Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。