論文の概要: GeoClip: Geometry-Aware Clipping for Differentially Private SGD
- arxiv url: http://arxiv.org/abs/2506.06549v1
- Date: Fri, 06 Jun 2025 21:41:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 21:10:47.040747
- Title: GeoClip: Geometry-Aware Clipping for Differentially Private SGD
- Title（参考訳）: GeoClip: 異なるプライベートなSGDのための幾何対応クリッピング
- Authors: Atefeh Gilani, Naima Tasnim, Lalitha Sankar, Oliver Kosut,
- Abstract要約: 個人差分勾配降下(DP-SGD)の鍵となる課題は、サンプルごとの勾配クリッピング閾値を設定することである。
そこで我々はGeoClipを提案する。GeoClipは、勾配分布の幾何学と整合した変換ベースで勾配をクリップし、摂動する幾何学的フレームワークである。
我々はGeoClipの収束保証を提供し、勾配クリッピングの確率を制御下に保ちながら付加される雑音の量を最小限に抑える最適変換のための閉形式解を導出する。
- 参考スコア（独自算出の注目度）: 12.149550080095919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentially private stochastic gradient descent (DP-SGD) is the most widely used method for training machine learning models with provable privacy guarantees. A key challenge in DP-SGD is setting the per-sample gradient clipping threshold, which significantly affects the trade-off between privacy and utility. While recent adaptive methods improve performance by adjusting this threshold during training, they operate in the standard coordinate system and fail to account for correlations across the coordinates of the gradient. We propose GeoClip, a geometry-aware framework that clips and perturbs gradients in a transformed basis aligned with the geometry of the gradient distribution. GeoClip adaptively estimates this transformation using only previously released noisy gradients, incurring no additional privacy cost. We provide convergence guarantees for GeoClip and derive a closed-form solution for the optimal transformation that minimizes the amount of noise added while keeping the probability of gradient clipping under control. Experiments on both tabular and image datasets demonstrate that GeoClip consistently outperforms existing adaptive clipping methods under the same privacy budget.
- Abstract（参考訳）: 微分プライベート確率勾配勾配(DP-SGD)は、証明可能なプライバシー保証を持つ機械学習モデルをトレーニングするための最も広く使われている方法である。
DP-SGDにおける重要な課題は、サンプルごとの勾配クリッピング閾値を設定することだ。
最近の適応的手法では、トレーニング中にこのしきい値を調整することで性能を向上させるが、標準座標系では動作せず、勾配の座標間の相関を考慮できない。
そこで我々はGeoClipを提案する。GeoClipは、勾配分布の幾何学と整合した変換ベースで勾配をクリップし、摂動する幾何学的フレームワークである。
GeoClipはこの変換を、以前にリリースされたノイズ勾配のみを使用して適応的に見積もっており、追加のプライバシコストは発生しない。
我々はGeoClipの収束保証を提供し、勾配クリッピングの確率を制御下に保ちながら付加される雑音の量を最小限に抑える最適変換のための閉形式解を導出する。
表と画像の両方のデータセットの実験では、GeoClipは同じプライバシー予算の下で、既存の適応的なクリッピングメソッドを一貫して上回っていることが示されている。
関連論文リスト
- On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。
本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。
本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
論文 参考訳（メタデータ） (2024-12-27T20:29:47Z) - Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。
このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。
DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
論文 参考訳（メタデータ） (2024-11-05T12:47:30Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。
プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。
本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
論文 参考訳（メタデータ） (2023-05-10T21:39:27Z) - Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。
本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
論文 参考訳（メタデータ） (2021-12-01T21:43:34Z) - Private Adaptive Gradient Methods for Convex Optimization [32.3523019355048]
適応的なステップサイズを持つグラディエント Descent (SGD) アルゴリズムの差分プライベート変種を提案・解析する。
両アルゴリズムの後悔に関する上限を与え、その境界が最適であることを示す。
論文 参考訳（メタデータ） (2021-06-25T16:46:45Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳（メタデータ） (2020-06-27T19:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。