論文の概要: DP-CSGP: Differentially Private Stochastic Gradient Push with Compressed Communication
- arxiv url: http://arxiv.org/abs/2512.13583v1
- Date: Mon, 15 Dec 2025 17:37:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.783658
- Title: DP-CSGP: Differentially Private Stochastic Gradient Push with Compressed Communication
- Title（参考訳）: DP-CSGP:圧縮通信を用いた個人確率勾配プッシュ
- Authors: Zehan Zhu, Heng Zhao, Yan Huang, Joey Tianyi Zhou, Shouling Ji, Jinming Xu,
- Abstract要約: 本稿では,分散学習グラフのための圧縮通信(termedfrac-CSGP)を用いた差分的プライベート・グラディエント・プッシュを提案する。
一般の非数学的かつ滑らかな目的関数に対して,本アルゴリズムは高精度かつ効率的な通信を実現するために設計されていることを示す。
- 参考スコア（独自算出の注目度）: 71.60998478544028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a Differentially Private Stochastic Gradient Push with Compressed communication (termed DP-CSGP) for decentralized learning over directed graphs. Different from existing works, the proposed algorithm is designed to maintain high model utility while ensuring both rigorous differential privacy (DP) guarantees and efficient communication. For general non-convex and smooth objective functions, we show that the proposed algorithm achieves a tight utility bound of $\mathcal{O}\left( \sqrt{d\log \left( \frac{1}δ \right)}/(\sqrt{n}Jε) \right)$ ($J$ and $d$ are the number of local samples and the dimension of decision variables, respectively) with $\left(ε, δ\right)$-DP guarantee for each node, matching that of decentralized counterparts with exact communication. Extensive experiments on benchmark tasks show that, under the same privacy budget, DP-CSGP achieves comparable model accuracy with significantly lower communication cost than existing decentralized counterparts with exact communication.
- Abstract（参考訳）: 本稿では、有向グラフ上の分散学習のための圧縮通信(DP-CSGP)を用いた微分プライベート確率勾配プッシュを提案する。
提案アルゴリズムは,従来の手法と異なり,厳密な差分プライバシー(DP)保証と効率的な通信を両立させながら,高モデルユーティリティを維持するように設計されている。
一般の非凸関数と滑らかな対象関数に対して、提案アルゴリズムは、$\mathcal{O}\left( \sqrt{d\log \left( \frac{1}δ \right)}/(\sqrt{n}Jε) \right)$$$J$と$d$は局所的なサンプルの数と決定変数の次元であり、各ノードに対して$\left(ε, δ\right)$-DPを保証する。
ベンチマークタスクに関する大規模な実験により、DP-CSGPは、同一のプライバシー予算の下で、正確な通信を行う既存の分散化されたタスクに比べて、通信コストが大幅に低い同等のモデル精度を達成している。
関連論文リスト
- Mitigating Privacy-Utility Trade-off in Decentralized Federated Learning via $f$-Differential Privacy [27.280907787306642]
Decentralized Federated Learning (FL)により、ローカルユーザはデータを中央サーバと共有することなく、協力できる。
プライベートFLアルゴリズムのプライバシー予算を正確に定量化することは、複雑なアルゴリズムコンポーネントの共存によって困難である。
本稿では、$f$-differential privacy(f$-DP)フレームワーク内の2つの分散FLアルゴリズムのプライバシ会計について述べる。
論文 参考訳（メタデータ） (2025-10-22T18:01:08Z) - PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。
この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
論文 参考訳（メタデータ） (2024-05-04T11:22:53Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over
Graphs [54.08445874064361]
本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。
Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。
提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
論文 参考訳（メタデータ） (2022-08-29T18:01:42Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Muffliato: Peer-to-Peer Privacy Amplification for Decentralized Optimization and Averaging [20.39986955578245]
ローカルディファレンシャルプライバシ(LDP)の緩和であるペアワイズネットワークディファレンシャルプライバシを導入する。
我々は、局所勾配降下ステップとゴシップ平均化を交互に交互に行う、微分プライベートな分散最適化アルゴリズムを導出する。
我々のアルゴリズムは,グラフ内のノード間距離の関数として,プライバシー保証を増幅することを示す。
論文 参考訳（メタデータ） (2022-06-10T13:32:35Z) - A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient
Descent with Differential Privacy [15.038697541988746]
一般的な分散学習戦略はフェデレーション学習であり、グローバルモデルを格納する中央サーバと、対応するデータでモデルパラメータを更新するローカルコンピューティングノードのセットがある。
本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止する,非同期分散並列SGDフレームワークの差分プライベート版A(DP)$2$SGDを提案する。
論文 参考訳（メタデータ） (2020-08-21T00:56:22Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。