論文の概要: Optimizer Dynamics at the Edge of Stability with Differential Privacy

• arxiv url: http://arxiv.org/abs/2512.19019v1
• Date: Mon, 22 Dec 2025 04:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.614377
• Title: Optimizer Dynamics at the Edge of Stability with Differential Privacy
• Title（参考訳）: 微分プライバシーによる安定性のエッジにおける最適化ダイナミクス
• Authors: Ayana Hussain, Ricky Fang,
• Abstract要約: ディープラーニングモデルは、個々のトレーニング例に関するセンシティブな情報を明らかにすることができる。 差分プライバシ(DP)下におけるニューラルネットワークのトレーニングダイナミクスについて検討する。 これらの知見は、ニューラルネットワーク最適化においてDPがもたらす予測不可能性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models can reveal sensitive information about individual training examples, and while differential privacy (DP) provides guarantees restricting such leakage, it also alters optimization dynamics in poorly understood ways. We study the training dynamics of neural networks under DP by comparing Gradient Descent (GD), and Adam to their privacy-preserving variants. Prior work shows that these optimizers exhibit distinct stability dynamics: full-batch methods train at the Edge of Stability (EoS), while mini-batch and adaptive methods exhibit analogous edge-of-stability behavior. At these regimes, the training loss and the sharpness--the maximum eigenvalue of the training loss Hessian--exhibit certain characteristic behavior. In DP training, per-example gradient clipping and Gaussian noise modify the update rule, and it is unclear whether these stability patterns persist. We analyze how clipping and noise change sharpness and loss evolution and show that while DP generally reduces the sharpness and can prevent optimizers from fully reaching the classical stability thresholds, patterns from EoS and analogous adaptive methods stability regimes persist, with the largest learning rates and largest privacy budgets approaching, and sometimes exceeding, these thresholds. These findings highlight the unpredictability introduced by DP in neural network optimization.
• Abstract（参考訳）: ディープラーニングモデルは、個々のトレーニング例に関する機密情報を明らかにし、差分プライバシー(DP)がそのようなリークを制限する保証を提供する一方で、理解の浅い方法で最適化のダイナミクスを変化させる。 本研究では、GD(Gradient Descent)とAdamをプライバシー保護の亜種と比較することにより、DP下のニューラルネットワークのトレーニングダイナミクスについて検討する。 フルバッチ法は安定性のエッジ(EoS)で訓練され、ミニバッチ法と適応法は安定性のエッジと同等の挙動を示す。 これらの制度において、トレーニング損失とシャープネス(トレーニング損失の最大固有値)は、特定の特性行動を制限する。 DPトレーニングでは,各勾配クリッピングとガウスノイズが更新規則を変更しており,これらの安定性パターンが持続するかどうかは不明である。 我々は、クリッピングとノイズがシャープネスと損失の進化をいかに変化させるかを分析し、DPが一般にシャープネスを減らし、最適化器が古典的な安定性閾値に完全に到達することを防ぐ一方で、EoSと類似の適応手法のパターンは、最大の学習率と最大のプライバシー予算が近づき、時にはそのしきい値を超えていることを示す。 これらの知見は、ニューラルネットワーク最適化においてDPがもたらす予測不可能性を浮き彫りにしている。

関連論文リスト

• ADP-VRSGP: Decentralized Learning with Adaptive Differential Privacy via Variance-Reduced Stochastic Gradient Push [24.62800551742178]
  本稿では分散誘導勾配プッシュによる適応微分プライバシーを用いた分散学習という新しい手法を提案する。 この方法は、段階的に遅延するスケジュールを用いて、ノイズ分散と学習率の両方を動的に調整する。 ADP-VRSGPは、適切な学習速度で堅牢な収束を実現し、トレーニングの安定性と速度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-23T03:14:59Z)
• Adaptive Heavy-Tailed Stochastic Gradient Descent [0.0]
  AHTSGDは、安定性のエッジに基づく一般化に注入されたノイズの性質を調整した最初のアルゴリズムである。 AHTSGDは、MNISTやCIFAR-10のようなベンチマークでSGDと他のノイズベースの手法を一貫して上回り、SVHNのようなノイズの多いデータセットでは顕著に上昇している。
  論文  参考訳（メタデータ） (2025-08-29T06:32:26Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• DPSUR: Accelerating Differentially Private Stochastic Gradient Descent Using Selective Update and Release [29.765896801370612]
  本稿では,Selective Updates and Releaseに基づく差分プライベートトレーニングフレームワークを提案する。 主な課題は、プライバシに関する懸念と、モデル更新のための勾配選択戦略の2つの側面にある。 MNIST,FMNIST, CIFAR-10, IMDBデータセットを用いて行った実験により, DPSURは収束速度において従来よりも大幅に優れていたことがわかった。
  論文  参考訳（メタデータ） (2023-11-23T15:19:30Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。