論文の概要: Federated Differentially Private Optimization via Low-Rank Preconditioning

• arxiv url: http://arxiv.org/abs/2610.31069v1
• Date: Thu, 22 Oct 2026 10:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.325949
• Title: Federated Differentially Private Optimization via Low-Rank Preconditioning
• Title（参考訳）: 低ランクプリコンディショニングによるフェデレーション・ディファレンシャル・プライベート最適化
• Abstract要約: 我々は、フェデレーション設定における差分プライベート(DP)最適化について検討する。 本稿では,線形通信コストを実現するDP-PCAフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.926648387936667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider differentially private (DP) optimization in the federated setting, where a DP estimate of the feature covariance matrix serves as a Hessian approximation for generalized linear models. Existing central DP methods for covariance estimation have communication cost that grows quadratically in the data dimension, while existing baselines with linear communication cost are only locally private and degrade as the number of clients increases. As a remedy, we propose a federated DP-PCA framework that achieves linear communication cost while providing central DP guarantees under secure aggregation. It consists of a DP rank selection step, a DP power method, and a noisy release of the covariance projected onto the selected low-dimensional subspace. We give error bounds for this covariance estimate and for the resulting low-communication preconditioned DP gradient descent. Empirically, our proposed DP optimization method matches a centralized baseline with quadratic communication cost at a fraction of the communication.
• Abstract（参考訳）: 我々は,特徴共分散行列のDP推定が一般化線形モデルに対するヘシアン近似として機能するフェデレート環境での差分プライベート(DP)最適化を考察する。 共分散推定のための既存のDP手法は、データ次元において2次的に増大する通信コストを持ち、一方、線形通信コストの既存のベースラインは、クライアントの数が増えるにつれて、ローカルにプライベートでしか分解されない。 そこで我々は,セキュアなアグリゲーションの下で,中央のDP保証を提供しながら,線形通信コストを実現するための統合DP-PCAフレームワークを提案する。 これは、DPランク選択ステップ、DPパワーメソッド、選択された低次元部分空間に投影された共分散のノイズ解放からなる。 この共分散推定値の誤差境界と、結果として生じる低共役プレコンディショニングDP勾配勾配に対する誤差境界を与える。 実験的に提案したDP最適化手法は,通信コストのごく一部で,集中型ベースラインと二次的通信コストとを一致させる。

関連論文リスト

• DP-CSGP: Differentially Private Stochastic Gradient Push with Compressed Communication [71.60998478544028]
  本稿では,分散学習グラフのための圧縮通信(termedfrac-CSGP)を用いた差分的プライベート・グラディエント・プッシュを提案する。 一般の非数学的かつ滑らかな目的関数に対して,本アルゴリズムは高精度かつ効率的な通信を実現するために設計されていることを示す。
  論文  参考訳（メタデータ） (2025-12-15T17:37:02Z)
• Second-Order Convergence in Private Stochastic Non-Convex Optimization [28.00987194971941]
  微分プライベート(DP)非次元同定最適化における2次定常点(SOS)の探索問題について検討する。 既存手法はサドル点エスケープ解析における勾配変動による不正確な収束誤差に悩まされている。 我々は,先行研究で報告された収束誤差を補正する新しいDPアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-21T15:25:23Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Differentially Private Decentralized Optimization with Relay Communication [1.2695958417031445]
  プライバシリーク頻度(PLF)は,アルゴリズムの通信とプライバシリークの関係を明らかにする指標である。 DP-RECAL は, 演算子分割法と中継通信機構を利用して, PLF の低減を図っている。
  論文  参考訳（メタデータ） (2022-12-21T09:05:36Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。