論文の概要: Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective

• arxiv url: http://arxiv.org/abs/2603.03226v1
• Date: Tue, 03 Mar 2026 18:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.920469
• Title: Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective
• Title（参考訳）: 高いプライバシ設定でアダプティブメソッドが望ましい:SDEの視点
• Authors: Enea Monzio Compagnoni, Alessandro Stanghellini, Rustem Islamov, Aurelien Lucchi, Anastasiia Koloskova,
• Abstract要約: プライバシー規制の厳格化に伴い、差分プライバシー(DP)は大規模トレーニングの中心になりつつある。 微分方程式のレンズによる最適化において、雑音が適応性とどのように相互作用するかを再考する。 DP-SignSGD は $varepsilon$ から独立して、DP-SignSGD は $varepsilon$ から独立に、DP-SignSGD は $varepsilon$ から独立に、速度は $varepsilon$ に収束する。
• 参考スコア（独自算出の注目度）: 42.70658101277954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential Privacy (DP) is becoming central to large-scale training as privacy regulations tighten. We revisit how DP noise interacts with adaptivity in optimization through the lens of stochastic differential equations, providing the first SDE-based analysis of private optimizers. Focusing on DP-SGD and DP-SignSGD under per-example clipping, we show a sharp contrast under fixed hyperparameters: DP-SGD converges at a Privacy-Utility Trade-Off of $\mathcal{O}(1/\varepsilon^2)$ with speed independent of $\varepsilon$, while DP-SignSGD converges at a speed linear in $\varepsilon$ with an $\mathcal{O}(1/\varepsilon)$ trade-off, dominating in high-privacy or large batch noise regimes. By contrast, under optimal learning rates, both methods achieve comparable theoretical asymptotic performance; however, the optimal learning rate of DP-SGD scales linearly with $\varepsilon$, while that of DP-SignSGD is essentially $\varepsilon$-independent. This makes adaptive methods far more practical, as their hyperparameters transfer across privacy levels with little or no re-tuning. Empirical results confirm our theory across training and test metrics, and empirically extend from DP-SignSGD to DP-Adam.
• Abstract（参考訳）: プライバシー規制の厳格化に伴い、差分プライバシー(DP)は大規模トレーニングの中心になりつつある。 我々は,DPノイズが確率微分方程式のレンズを通して適応性とどのように相互作用するかを再検討し,プライベートオプティマイザのSDEに基づく最初の分析を提供する。 DP-SGDはプライバシ・Utility Trade-Off of $\mathcal{O}(1/\varepsilon^2)$は$\varepsilon$とは独立した速度で収束し、DP-SignSGDは$\varepsilon$と$\mathcal{O}(1/\varepsilon)$は$\mathcal{O}(1/\varepsilon)$の速度で収束する。 しかし、DP-SGDの最適学習率は$\varepsilon$と線形にスケールするのに対し、DP-SignSGDは$\varepsilon$非依存である。 これにより、適応的な手法がはるかに実用的になり、ハイパーパラメータは、ほとんどあるいは全く調整することなく、プライバシレベルを越えて転送される。 実験結果から, DP-SignSGD から DP-Adam に拡張した。

関連論文リスト

• DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning [7.445350484328613]
  適応性は非プライベートなトレーニングにおける事実上の標準であり、より高速な収束とパフォーマンスの向上を可能にする。 対照的に、差分プライベートトレーニングは依然としてDP-SGD(典型的にはDP-SGD)で行われている。
  論文  参考訳（メタデータ） (2025-11-25T17:17:48Z)
• Better Rates for Private Linear Regression in the Proportional Regime via Aggressive Clipping [19.186034457189162]
  一般的なアプローチは、サンプルごとの勾配の予想基準よりもクリッピング定数をはるかに大きく設定することである。 しかし、分析を単純化する一方で、これは経験的証拠がパフォーマンスを最適化することを示唆しているものとは対照的である。 我々の研究は、クリッピングが頻繁に起こる体制において、理論と実践のギャップを埋める。
  論文  参考訳（メタデータ） (2025-05-22T07:34:27Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。