論文の概要: Better Rates for Private Linear Regression in the Proportional Regime via Aggressive Clipping

• arxiv url: http://arxiv.org/abs/2505.16329v1
• Date: Thu, 22 May 2025 07:34:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.121442
• Title: Better Rates for Private Linear Regression in the Proportional Regime via Aggressive Clipping
• Title（参考訳）: プロポーショナルレジームにおける攻撃的クリッピングによるプライベートリニア回帰の速度改善
• Authors: Simone Bombari, Inbar Seroussi, Marco Mondelli,
• Abstract要約: 一般的なアプローチは、サンプルごとの勾配の予想基準よりもクリッピング定数をはるかに大きく設定することである。 しかし、分析を単純化する一方で、これは経験的証拠がパフォーマンスを最適化することを示唆しているものとは対照的である。 我々の研究は、クリッピングが頻繁に起こる体制において、理論と実践のギャップを埋める。
• 参考スコア（独自算出の注目度）: 19.186034457189162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private (DP) linear regression has received significant attention in the recent theoretical literature, with several works aimed at obtaining improved error rates. A common approach is to set the clipping constant much larger than the expected norm of the per-sample gradients. While simplifying the analysis, this is however in sharp contrast with what empirical evidence suggests to optimize performance. Our work bridges this gap between theory and practice: we provide sharper rates for DP stochastic gradient descent (DP-SGD) by crucially operating in a regime where clipping happens frequently. Specifically, we consider the setting where the data is multivariate Gaussian, the number of training samples $n$ is proportional to the input dimension $d$, and the algorithm guarantees constant-order zero concentrated DP. Our method relies on establishing a deterministic equivalent for the trajectory of DP-SGD in terms of a family of ordinary differential equations (ODEs). As a consequence, the risk of DP-SGD is bounded between two ODEs, with upper and lower bounds matching for isotropic data. By studying these ODEs when $n / d$ is large enough, we demonstrate the optimality of aggressive clipping, and we uncover the benefits of decaying learning rate and private noise scheduling.
• Abstract（参考訳）: 微分プライベート(DP)線形回帰は近年の理論的文献で注目されており、誤り率の改善を目的とした研究もいくつかある。 一般的なアプローチは、サンプルごとの勾配の予想基準よりもクリッピング定数をはるかに大きく設定することである。 しかし、分析を単純化する一方で、これは経験的証拠がパフォーマンスを最適化することを示唆しているものとは対照的である。 我々はDP確率勾配降下(DP-SGD)に対して、クリッピングが頻繁に発生する体制において、重要な操作を行うことにより、よりシャープなレートで、理論と実践のギャップを埋める。 具体的には、データが多変量ガウスであるような設定を考慮し、n$のトレーニングサンプルの数は入力次元に比例して$d$であり、アルゴリズムは定次ゼロ集中DPを保証する。 我々の手法は、通常の微分方程式(ODE)の族でDP-SGDの軌道に対する決定論的等価性を確立することに依存している。 その結果、DP-SGDのリスクは2つのODEにまたがり、上と下の境界は等方的データと一致する。 これらのODEを$n/d$で調べることで、アグレッシブクリッピングの最適性を示し、減衰する学習率とプライベートノイズスケジューリングの利点を明らかにする。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
  我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。 我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
  論文  参考訳（メタデータ） (2022-06-27T01:39:15Z)
• Differentially Private Sampling from Rashomon Sets, and the Universality of Langevin Diffusion for Convex Optimization [15.404265455635587]
  プライバシー分析が凸性に依存しず、プライバシーを損なうことなくいつでも停止することができる指数関数機構からのサンプリングアルゴリズムを提案する。 我々は、純粋および近似微分プライバシー(DP)の下で(強く)凸損失に対する最適過大な経験と人口リスクの保証を得る。 このフレームワークにより、Rashomon集合からDP一様サンプリングを設計できる。
  論文  参考訳（メタデータ） (2022-04-04T15:33:21Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。