論文の概要: Curvature-Aware Clipping: Mitigating Bias in DPSGD via Approximate Second-Order Information

• arxiv url: http://arxiv.org/abs/2610.32175v1
• Date: Fri, 23 Oct 2026 05:19:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.393731
• Title: Curvature-Aware Clipping: Mitigating Bias in DPSGD via Approximate Second-Order Information
• Title（参考訳）: 曲率を考慮したクリッピング:近似2次情報によるDPSGDのバイアスの緩和
• Abstract要約: Differentially Private Gradient Descent (DPSGD)は、厳格なプライバシー保証でディープニューラルネットワークをトレーニングするデファクトスタンダードになっている。 本稿では、近似二階情報を利用して最適な曲率対応クリッピング空間を構築する新しいフレームワークであるCA-DPSGDを提案する。
• 参考スコア（独自算出の注目度）: 2.6090700480644933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DPSGD) has become the de facto standard for training deep neural networks with rigorous privacy guarantees. However, the utility of DPSGD is constrained by gradient clipping bias and DP noise. While existing work has tried to address these issues, the geometric misalignment caused by clipping bias remains a critical challenge. To bridge this gap, we propose a novel framework, Curvature-Aware Differentially Private Stochastic Gradient Descent (CA-DPSGD), which leverages approximate second-order information to construct an optimal, curvature-aware clipping space. CA-DPSGD integrates a rectified estimator for the curvature matrix and is coupled with an anisotropic noise mechanism to ensure privacy guarantees. Extensive empirical experiments demonstrate that our approach outperforms state-of-the-art clipping methods.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DPSGD)は、厳格なプライバシー保証でディープニューラルネットワークをトレーニングするデファクトスタンダードになっている。 しかしDPSGDの有用性は、勾配クリッピングバイアスとDPノイズによって制約される。 既存の研究はこれらの問題に対処しようと試みているが、クリッピングバイアスによる幾何学的ミスアライメントは依然として重要な課題である。 このギャップを埋めるために, 近似2次情報を利用して最適な曲率対応クリッピング空間を構築するための新しいフレームワーク, Curvature-Aware Differentially Private Stochastic Gradient Descent (CA-DPSGD) を提案する。 CA-DPSGDは、曲率行列の補正推定器を統合し、プライバシー保証を保証する異方性ノイズ機構と結合する。 大規模な実験により,本手法が最先端のクリッピング法より優れていることが示された。

関連論文リスト

• Differentially Private Natural Gradient Descent [21.42435421989897]
  固定されたプライバシー予算の下では、差分プライベート(DP)トレーニングの有用性は最終的に最適化効率によって決定される。 プライベートデータから曲率推定を分離することにより,これらの障害に対処する実用的なフレームワークDP-NGDを提案する。 我々はDP-NGDが最先端の精度を達成し、1次ベースラインの実用的天井を破り、同じプライバシー予算の下で最大10倍のコンバージェンススピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2026-07-07T05:49:08Z)
• Revisiting Privacy Amplification by Subsampling in Selective Release DPSGD [4.723707756235521]
  クリッピンググラディエント(DPSR-CG)に基づく微分プライベート選択リリースを提案する。 DPSR-CG機構は、例外的なモデル性能を達成しつつ、厳格なプライバシ保証を維持していることを示す。
  論文  参考訳（メタデータ） (2026-06-03T03:00:26Z)
• Enhancing DPSGD via Per-Sample Momentum and Low-Pass Filtering [4.9871580445771455]
  Differentially Private Gradient Descent(DPSGD)は、正式なプライバシ保証を備えたディープニューラルネットワークのトレーニングに広く使用されている。 既存の手法は、DPノイズの低減がクリッピングバイアスと逆効果を悪化させるため、これらの問題の1つにのみ対処する。 本研究では,サンプルごとの運動量と低域通過フィルタを併用してDPノイズとクリッピングバイアスを同時に緩和する新しい手法であるemphDP-PMLFを提案する。
  論文  参考訳（メタデータ） (2025-11-11T23:40:02Z)
• Spectral Graph Clustering under Differential Privacy: Balancing Privacy, Accuracy, and Efficiency [53.98433419539793]
  エッジ差分プライバシー(DP)下におけるスペクトルグラフクラスタリングの問題点について検討する。 具体的には, (i) エッジフリップによるグラフ摂動と, エッジプライバシを強制する隣接行列シャッフルを併用したグラフ摂動, (ii) 次元と複雑性の複雑さを低減するために低次元空間における加法的ガウス雑音を伴うプライベートグラフプロジェクション, (iii) 収束性を維持しながらエッジDPを確保するために反復的にガウス雑音を分散するノイズの多いパワーイテレーション手法である。
  論文  参考訳（メタデータ） (2025-10-08T15:30:27Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。