論文の概要: When Gradient Clipping Becomes a Control Mechanism for Differential Privacy in Deep Learning

• arxiv url: http://arxiv.org/abs/2602.10584v1
• Date: Wed, 11 Feb 2026 07:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.526332
• Title: When Gradient Clipping Becomes a Control Mechanism for Differential Privacy in Deep Learning
• Title（参考訳）: ディープラーニングにおける微分プライバシー制御機構としてのグラディエント・クリッピング
• Authors: Mohammad Partohaghighi, Roummel Marcia, Bruce J. West, YangQuan Chen,
• Abstract要約: 機密データに対するプライバシー保護トレーニングは、勾配クリッピングとガウスノイズに依存している。 既存の適応的クリッピング法は、例ごとの勾配標準統計に依存することが多い。 本稿では,パラメータから計算した軽量で重量のみのスペクトル診断を用いて,しきい値に適応する制御駆動型クリッピング手法を提案する。
• 参考スコア（独自算出の注目度）: 3.8218584696400484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy-preserving training on sensitive data commonly relies on differentially private stochastic optimization with gradient clipping and Gaussian noise. The clipping threshold is a critical control knob: if set too small, systematic over-clipping induces optimization bias; if too large, injected noise dominates updates and degrades accuracy. Existing adaptive clipping methods often depend on per-example gradient norm statistics, adding computational overhead and introducing sensitivity to datasets and architectures. We propose a control-driven clipping strategy that adapts the threshold using a lightweight, weight-only spectral diagnostic computed from model parameters. At periodic probe steps, the method analyzes a designated weight matrix via spectral decomposition and estimates a heavy-tailed spectral indicator associated with training stability. This indicator is smoothed over time and fed into a bounded feedback controller that updates the clipping threshold multiplicatively in the log domain. Because the controller uses only parameters produced during privacy-preserving training, the resulting threshold updates are post-processing and do not increase privacy loss beyond that of the underlying DP optimizer under standard composition accounting.
• Abstract（参考訳）: 機密データに対するプライバシー保護トレーニングは、通常、勾配クリッピングとガウス雑音による微分プライベート確率最適化に依存している。 クリップングしきい値が重要な制御ノブである: セットが小さすぎると、体系的なオーバークリッピングが最適化バイアスを引き起こす; もし大きすぎると、注入されたノイズが更新を支配し、精度を低下させる。 既存の適応的なクリッピング法は、しばしば指数勾配標準統計に依存し、計算オーバーヘッドを追加し、データセットやアーキテクチャに敏感さを導入している。 モデルパラメータから計算した軽量で重量のみのスペクトル診断を用いてしきい値に適応する制御駆動型クリッピング方式を提案する。 周期的なプローブステップでは、スペクトル分解により指定された重み行列を解析し、トレーニング安定性に関連する重み付きスペクトル指標を推定する。 このインジケータは時間とともにスムーズ化され、ログドメイン内のクリッピングしきい値が乗算的に更新されるバウンドフィードバックコントローラに入力される。 コントローラは、プライバシ保存トレーニング中に生成されたパラメータのみを使用するため、結果として得られたしきい値更新は後処理であり、標準構成会計の下でのDPオプティマイザよりもプライバシー損失を増大させることはない。

関連論文リスト

• An Adaptive Differentially Private Federated Learning Framework with Bi-level Optimization [10.218291445871435]
  フェデレーション学習は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 実際の展開では、デバイスの不均一性、非独立性、および同一に分散された(Non-IID)データは、しばしば非常に不安定で偏りのある勾配更新をもたらす。 異種およびプライバシー制約のある環境下でモデル効率を明示的に目標とする適応型微分プライベートなフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:27:33Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Online Sensitivity Optimization in Differentially Private Learning [8.12606646175019]
  クリッピング閾値を動的に最適化する新しい手法を提案する。 我々は、このしきい値を学習可能なパラメータとして扱い、しきい値とコスト関数のクリーンな関係を確立する。 提案手法は, 多様なデータセット, タスク, モデル次元, プライバシレベルにまたがる代替的かつ適応的な戦略に対して, 徹底的に評価される。
  論文  参考訳（メタデータ） (2023-10-02T00:30:49Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Adaptive Low-Pass Filtering using Sliding Window Gaussian Processes [71.23286211775084]
  ガウス過程回帰に基づく適応型低域通過フィルタを提案する。 本研究では,提案手法の誤差が一様境界であることを示す。
  論文  参考訳（メタデータ） (2021-11-05T17:06:59Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。