論文の概要: Lap2: Revisiting Laplace DP-SGD for High Dimensions via Majorization Theory
- arxiv url: http://arxiv.org/abs/2602.23516v2
- Date: Thu, 05 Mar 2026 14:42:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 17:50:36.226178
- Title: Lap2: Revisiting Laplace DP-SGD for High Dimensions via Majorization Theory
- Title（参考訳）: Lap2:Majorization Theoryによる高次元のラプラスDP-SGDの再検討
- Authors: Meisam Mohammady, Qin Yang, Nicholas Stout, Ayesha Samreen, Han Wang, Christopher J Quinn, Yuan Hong,
- Abstract要約: DP-SGD(Private Gradient Descent)は、ディープラーニングにおけるプライバシを確保するための基礎技術である。
我々はLaplace-SGDのL2クリッピングを可能にする新しいソリューションであるLap2を紹介し、強力なプライバシー保証を克服する。
- 参考スコア（独自算出の注目度）: 11.109662190596412
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) is a cornerstone technique for ensuring privacy in deep learning, widely used in both training from scratch and fine-tuning large-scale language models. While DP-SGD predominantly relies on the Gaussian mechanism, the Laplace mechanism remains underutilized due to its reliance on L1 norm clipping. This constraint severely limits its practicality in high-dimensional models because the L1 norm of an n-dimensional gradient can be up to sqrt(n) times larger than its L2 norm. As a result, the required noise scale grows significantly with model size, leading to poor utility or untrainable models. In this work, we introduce Lap2, a new solution that enables L2 clipping for Laplace DP-SGD while preserving strong privacy guarantees. We overcome the dimensionality-driven clipping barrier by computing coordinate-wise moment bounds and applying majorization theory to construct a tight, data-independent upper bound over the full model. By exploiting the Schur-convexity of the moment accountant function, we aggregate these bounds using a carefully designed majorization set that respects the L2 clipping constraint. This yields a multivariate privacy accountant that scales gracefully with model dimension and enables the use of thousands of moments. Empirical evaluations demonstrate that our approach significantly improves the performance of Laplace DP-SGD, achieving results comparable to or better than Gaussian DP-SGD under strong privacy constraints. For instance, fine-tuning RoBERTa-base (125M parameters) on SST-2 achieves 87.88% accuracy at epsilon=0.54, outperforming Gaussian (87.16%) and standard Laplace (48.97%) under the same budget.
- Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DP-SGD)は、ディープラーニングにおけるプライバシを確保するための基盤となるテクニックであり、スクラッチからトレーニングし、大規模な言語モデルを微調整するために広く使用されている。
DP-SGDは主にガウス機構に依存しているが、ラプラス機構はL1ノルム切断に依存しているため未利用のままである。
この制約は、n-次元勾配の L1 ノルムが L2 ノルムより最大で sqrt(n) 倍大きいため、高次元モデルの実用性を著しく制限する。
その結果、要求されるノイズスケールはモデルサイズとともに大幅に増大し、実用性に乏しいモデルや訓練不能なモデルに繋がる。
本稿では,Laplace DP-SGDのL2クリッピングを実現するための新しいソリューションであるLap2を紹介する。
我々は、座標ワイドモーメント境界を計算し、偏重理論を適用して、全モデル上の厳密なデータ非依存上界を構築することにより、次元駆動型クリッピング障壁を克服する。
モーメント会計関数のシュール凸性を利用して、L2クリッピング制約を尊重する慎重に設計された偏化集合を用いてこれらの境界を集約する。
これにより多変量プライバシー会計士がモデル次元に優雅にスケールし、数千のモーメントの使用を可能にする。
実験により,本手法はLaplace DP-SGDの性能を著しく向上させ,ガウスのDP-SGDに匹敵する結果を得た。
例えば、SST-2上の細調整されたRoBERTaベース(125Mパラメータ)は、エプシロン=0.54で87.88%の精度を達成し、同じ予算でガウス(87.16%)と標準ラプラス(48.97%)を上回っている。
関連論文リスト
- Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD [7.787109481104569]
本稿では,DP-SGDを$f$差分プライバシーフレームワークで解析する。
小さい分離を強制することはノイズ乗算器$$に厳格な下限を課し、達成可能な効用を直接制限することを証明する。
実験により, この境界による雑音レベルは, 現実的な訓練環境において, 高い精度で劣化することが確認された。
論文 参考訳（メタデータ） (2026-01-15T09:50:36Z) - LMO-DP: Optimizing the Randomization Mechanism for Differentially Private Fine-Tuning (Large) Language Models [31.718398512438238]
本稿では,LMO-DP(Language Model-based Optimal Differential Privacy)機構を提案する。
これは、最適化された言語モデルの厳密な構成を、サブ最適DPメカニズムで実現するための第一歩である。
LMO-DPはまた、強力な差分プライバシー保証を持つLlama-2を正確に微調整する最初のソリューションでもある。
論文 参考訳（メタデータ） (2024-05-29T05:32:50Z) - Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。
DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
論文 参考訳（メタデータ） (2024-02-12T17:24:15Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in
Private SGD [56.01810892677744]
DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。
BAM(Bias-Aware Minimisation)を提案する。
論文 参考訳（メタデータ） (2023-08-23T09:20:41Z) - High-Dimensional Private Empirical Risk Minimization by Greedy
Coordinate Descent [11.49109939095326]
個人的リスク最小化(DP-ERM)について検討する。
DP-GCDは,幅広い問題に対して,次元の対数依存を実現できることを示す。
論文 参考訳（メタデータ） (2022-07-04T16:27:00Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。