論文の概要: Sketched Gaussian Mechanism for Private Federated Learning

• arxiv url: http://arxiv.org/abs/2509.08195v1
• Date: Tue, 09 Sep 2025 23:59:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.271677
• Title: Sketched Gaussian Mechanism for Private Federated Learning
• Title（参考訳）: プライベートフェデレーションラーニングのためのスケッチガウス機構
• Authors: Qiaobo Li, Zhijie Chen, Arindam Banerjee,
• Abstract要約: 連立学習(FL)におけるコミュニケーションコストとプライバシ 我々は、スケッチとプライバシーのためのガウス機構を直接組み合わせたSketched Gaussian Mechanism(SGM)を紹介する。 SGM の FL への応用を,勾配降下型サーバと適応型サーバで実証する。
• 参考スコア（独自算出の注目度）: 9.419019216099132
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Communication cost and privacy are two major considerations in federated learning (FL). For communication cost, gradient compression by sketching the clients' transmitted model updates is often used for reducing per-round communication. For privacy, the Gaussian mechanism (GM), which consists of clipping updates and adding Gaussian noise, is commonly used to guarantee client-level differential privacy. Existing literature on private FL analyzes privacy of sketching and GM in an isolated manner, illustrating that sketching provides privacy determined by the sketching dimension and that GM has to supply any additional desired privacy. In this paper, we introduce the Sketched Gaussian Mechanism (SGM), which directly combines sketching and the Gaussian mechanism for privacy. Using R\'enyi-DP tools, we present a joint analysis of SGM's overall privacy guarantee, which is significantly more flexible and sharper compared to isolated analysis of sketching and GM privacy. In particular, we prove that the privacy level of SGM for a fixed noise magnitude is proportional to $1/\sqrt{b}$, where $b$ is the sketching dimension, indicating that (for moderate $b$) SGM can provide much stronger privacy guarantees than the original GM under the same noise budget. We demonstrate the application of SGM to FL with either gradient descent or adaptive server optimizers, and establish theoretical results on optimization convergence, which exhibits only a logarithmic dependence on the number of parameters $d$. Experimental results confirm that at the same privacy level, SGM based FL is at least competitive with non-sketching private FL variants and outperforms them in some settings. Moreover, using adaptive optimization at the server improves empirical performance while maintaining the privacy guarantees.
• Abstract（参考訳）: コミュニケーションコストとプライバシは、連邦学習(FL)における2つの主要な考慮事項である。 通信コストの面では、クライアントの送信したモデル更新をスケッチして勾配圧縮を行うことで、ラウンド単位の通信を削減できることが多い。 プライバシーに関して、Gaussianのメカニズム(GM)は、更新をクリップし、Gaussianノイズを追加することで、クライアントレベルの差分プライバシーを保証するために一般的に使用される。 既存のプライベートFLに関する文献は、スケッチとGMのプライバシを独立した方法で分析し、スケッチがスケッチの寸法によって決定されるプライバシを提供し、GMが追加のプライバシを提供する必要があることを説明している。 本稿では,Sketched Gaussian Mechanism(SGM)を紹介する。 R'enyi-DPツールを用いて、SGMの全体的なプライバシー保証を共同で分析する。 特に、固定ノイズ等級のSGMのプライバシレベルが1/\sqrt{b}$に比例していることを証明する。 パラメータ数$d$の対数依存しか示さない最適化収束に関する理論的結果を確立する。 同じプライバシーレベルで、SGMベースのFLは、少なくとも非スケッチなプライベートFLと競合し、いくつかの設定でそれらを上回ります。 さらに、サーバで適応最適化を使用することで、プライバシ保証を維持しながら経験的なパフォーマンスが向上する。

関連論文リスト

• Private Hyperparameter Tuning with Ex-Post Guarantee [98.43027866582979]
  「実用優先」のプライバシメカニズムは、望ましいユーティリティレベルを優先し、それに対応するプライバシコストを決定する。 Wu et al. [2019] と Liu と Talwar [2019] の作業を拡張して,プライベートな見積りのシーケンスをサポートします。 最適なプライバシ予算の選択を含む,これらの推定器のハイパーパラメータチューニングは,追加のプライバシコストなしで行うことができることを示す。
  論文  参考訳（メタデータ） (2025-08-21T02:42:23Z)
• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• Differentially Private Adaptation of Diffusion Models via Noisy Aggregated Embeddings [23.687702204151872]
  Textual Inversion (TI)は、画像や画像の集合に対する埋め込みベクトルを学習し、差分プライバシー制約の下で適応を可能にする。 DPAgg-TIはDP-SGDファインタニングを同一のプライバシー予算の下で実用性と堅牢性の両方で上回ることを示す。
  論文  参考訳（メタデータ） (2024-11-22T00:09:49Z)
• Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off [31.688806024426928]
  我々は、厳格なプライバシー保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介した。 スペクトル空間における高周波成分を柔軟に切り離す能力を示す。 我々は、異なるプライバシー設定の下で、大幅なパフォーマンス改善と厳格なプライバシー保証を示す。
  論文  参考訳（メタデータ） (2024-02-10T17:39:34Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
  推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。 我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2023-04-17T00:38:01Z)
• Decentralized Matrix Factorization with Heterogeneous Differential Privacy [2.4743508801114444]
  信頼できないリコメンデータに対して, 異種差分行列分解アルゴリズム(HDPMF)を提案する。 我々のフレームワークは、プライバシと精度のトレードオフを改善するために、革新的な再スケーリングスキームを備えた拡張ストレッチ機構を使用している。
  論文  参考訳（メタデータ） (2022-12-01T06:48:18Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。