論文の概要: Differentially Private Natural Gradient Descent

• arxiv url: http://arxiv.org/abs/2607.05866v1
• Date: Tue, 07 Jul 2026 05:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.406977
• Title: Differentially Private Natural Gradient Descent
• Title（参考訳）: 個人用天然グラディエント染料
• Authors: Pan Li, Kai Chen, Shuai Chang, Shengzhi Zhang, Peizhuo Lv, Jinwen He,
• Abstract要約: 固定されたプライバシー予算の下では、差分プライベート(DP)トレーニングの有用性は最終的に最適化効率によって決定される。 プライベートデータから曲率推定を分離することにより,これらの障害に対処する実用的なフレームワークDP-NGDを提案する。 我々はDP-NGDが最先端の精度を達成し、1次ベースラインの実用的天井を破り、同じプライバシー予算の下で最大10倍のコンバージェンススピードアップを実現していることを示す。
• 参考スコア（独自算出の注目度）: 21.42435421989897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under a fixed privacy budget, the utility of differentially private (DP) training is ultimately determined by its optimization efficiency. Standard first-order DP optimizers such as DP-SGD rely solely on local gradients and ignore the underlying loss curvature. This geometric blindness causes severe zigzagging in ill-conditioned landscapes, squandering precious privacy budgets on inefficient iterations. Practitioners are thus trapped in a bind: either stop training prematurely or inject massive per-step noise, both of which critically compromise final model utility. Natural Gradient Descent (NGD) resolves this by preconditioning gradients with curvature, aligning updates with the loss geometry and extracting more efficient signal from every noisy step, offering a principled pathway to break the privacy-utility bottleneck. Despite its theoretical appeal, directly integrating NGD with DP introduces fundamental challenges: curvature estimation itself consumes prohibitive privacy budgets, isotropic DP operations conflict with the anisotropic scaling of NGD, and the inverse curvature catastrophically amplify parameter updates in flat directions, causing training instability. We propose DP-NGD, a practical framework that systematically addresses these obstacles by decoupling curvature estimation from private data, reconciling isotropic DP constraints with anisotropic second-order optimization via a whitened-space mechanism, and dynamically clamping the curvature to stabilize training. Extensive experiments on standard benchmarks demonstrate that DP-NGD achieves state-of-the-art accuracy, breaking through the utility ceilings of first-order baselines while delivering up to a $10\times$ convergence speedup under the same privacy budget.
• Abstract（参考訳）: 固定されたプライバシー予算の下では、差分プライベート(DP)トレーニングの有用性は最終的に最適化効率によって決定される。 DP-SGDのような標準の1次DPオプティマイザは局所勾配のみに依存し、下層の損失曲率を無視する。 この幾何学的な盲目は、不調な風景の中で厳しいジグザグを引き起こし、非効率なイテレーションで貴重なプライバシー予算を揺さぶる。 トレーニングを早めに停止するか、ステップ毎に大きなノイズを注入するか、どちらも最終モデルの実用性を著しく損なう。 Natural Gradient Descent (NGD)は、勾配を曲率でプレコンディショニングし、更新を損失幾何学と整列させ、ノイズの多いステップごとにより効率的な信号を抽出し、プライバシとユーティリティのボトルネックを突破する原則的な経路を提供することによってこれを解決している。 曲率推定自体が禁止されたプライバシー予算を消費し、等方的DP操作はNGDの異方性スケーリングと矛盾し、逆曲率計算はパラメータ更新をフラットな方向に拡張し、トレーニング不安定を引き起こす。 DP-NGDは,プライベートデータから曲率推定を分離し,異方性DP制約をホワイトドスペース機構を介して異方性二階最適化と整合させ,曲率を動的にクランプしてトレーニングを安定させることにより,これらの障害に体系的に対処する実用的フレームワークである。 標準ベンチマークに関する大規模な実験は、DP-NGDが最先端の精度を達成し、一階のベースラインの実用的天井を破り、同じプライバシー予算の下で最大10\times$コンバージェンススピードアップを提供することを示した。

関連論文リスト

• Second-Order Convergence in Private Stochastic Non-Convex Optimization [28.00987194971941]
  微分プライベート(DP)非次元同定最適化における2次定常点(SOS)の探索問題について検討する。 既存手法はサドル点エスケープ解析における勾配変動による不正確な収束誤差に悩まされている。 我々は,先行研究で報告された収束誤差を補正する新しいDPアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-21T15:25:23Z)
• Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee [36.82471440872803]
  動的微分独立分散DP手法(Dyn-D$2$P)を提案する。 Dyn-D$2$P は勾配収束に基づく勾配クリッピング境界と雑音レベルを動的に調整する。 ベンチマークデータセットの実験では、固定レベルノイズを用いた場合よりもDyn-D$2$の方が優れていることが示されている。
  論文  参考訳（メタデータ） (2025-05-10T13:57:57Z)
• Technical Report: Full Version of Analyzing and Optimizing Perturbation of DP-SGD Geometrically [7.905629859216635]
  まずDP-SGDを一般化し,DPノイズが学習過程に与える影響を理論的に導出する。 解析の結果、摂動勾配では、方向の雑音のみがモデル効率に顕著な影響を与えていることが判明した。 DPフレームワーク内の幾何戦略GeoDPを設計し、勾配の方向と大きさを乱す。
  論文  参考訳（メタデータ） (2025-04-08T02:26:10Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。