論文の概要: Communication Efficient, Differentially Private Distributed Optimization using Correlation-Aware Sketching

• arxiv url: http://arxiv.org/abs/2507.03545v1
• Date: Fri, 04 Jul 2025 12:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.77583
• Title: Communication Efficient, Differentially Private Distributed Optimization using Correlation-Aware Sketching
• Title（参考訳）: 相関認識型スケッチによる通信効率, 個人別分散最適化
• Authors: Julien Nicolas, Mohamed Maouche, Sonia Ben Mokhtar, Mark Coates,
• Abstract要約: 各クライアントはラウンド毎に$d$Dの勾配を送信し、DPノイズの大きさは$d$で増加する。 DOMEは分散化されたDP最適化フレームワークで、各クライアントは、プライベート化とセキュアアグリゲーションの前に、プロジェクトグラデーションを$mathbbRk$に拡張するためのコンパクトなスケッチを維持できる。 これにより、ラウンドごとの通信が$d$から$k$に減少し、勾配近似の平均2乗誤差が$sigma2 k$になる。
• 参考スコア（独自算出の注目度）: 17.117393709226903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning with differential privacy suffers from two major costs: each client must transmit $d$-dimensional gradients every round, and the magnitude of DP noise grows with $d$. Yet empirical studies show that gradient updates exhibit strong temporal correlations and lie in a $k$-dimensional subspace with $k \ll d$. Motivated by this, we introduce DOME, a decentralized DP optimization framework in which each client maintains a compact sketch to project gradients into $\mathbb{R}^k$ before privatization and Secure Aggregation. This reduces per-round communication from order $d$ to order $k$ and moves towards a gradient approximation mean-squared error of $\sigma^2 k$. To allow the sketch to span new directions and prevent it from collapsing onto historical gradients, we augment it with random probes orthogonal to historical directions. We prove that our overall protocol satisfies $(\epsilon,\delta)$-Differential Privacy.
• Abstract（参考訳）: 各クライアントはラウンド毎に$d$Dの勾配を送信し、DPノイズの大きさは$d$で増加する。 しかし、実証的な研究により、勾配の更新は強い時間的相関を示し、$k \ll d$を持つ$k$次元部分空間にあることが示されている。 DOMEは分散DP最適化フレームワークで、各クライアントは、プライベート化とセキュアアグリゲーションの前に、プロジェクトグラデーションを$\mathbb{R}^k$に拡張するためのコンパクトなスケッチを維持できる。 これにより、ラウンドごとの通信が$d$から$k$に減少し、勾配近似の平均2乗誤差が$\sigma^2 k$になる。 スケッチが新しい方向を横切ることができ、歴史的勾配に崩壊するのを防ぐため、歴史的方向と直交するランダムなプローブで拡大する。 我々のプロトコル全体が$(\epsilon,\delta)$-Differential Privacyを満足していることを証明する。

関連論文リスト

• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
  そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。 この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-05-04T11:22:53Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private Temporal Difference Learning with Stochastic Nonconvex-Strongly-Concave Optimization [17.361143427007224]
  時間差(TD)学習は、強化学習における政策を評価するために広く用いられている手法である。 本稿では,非線形値関数を用いたTD学習におけるプライバシ保護について考察する。 DPTDは、トランジションに符号化された機密情報に対して$epsilon,n-differential privacy (DP) を保証し、TD学習の本来のパワーを維持できることを示す。
  論文  参考訳（メタデータ） (2022-01-25T16:48:29Z)
• Differentially Private Exploration in Reinforcement Learning with Linear Representation [102.17246636801649]
  まず,線形混合MDP(Ayob et al., 2020)の設定(モデルベース設定)について検討し,共同・局所微分プライベート(DP)探索を統一的に分析するための枠組みを提供する。 我々はさらに、線形MDP(Jin et al., 2020)におけるプライバシー保護探索(つまりモデルフリー設定)について研究し、$widetildeO(sqrtK/epsilon)$ regret bound for $(epsilon,delta)を提供する。
  論文  参考訳（メタデータ） (2021-12-02T19:59:50Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。