論文の概要: DP-aware AdaLN-Zero: Taming Conditioning-Induced Heavy-Tailed Gradients in Differentially Private Diffusion

• arxiv url: http://arxiv.org/abs/2602.22610v1
• Date: Thu, 26 Feb 2026 04:32:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.526143
• Title: DP-aware AdaLN-Zero: Taming Conditioning-Induced Heavy-Tailed Gradients in Differentially Private Diffusion
• Title（参考訳）: DP-aware AdaLN-Zero:個人差分拡散における味付け条件による重り付き勾配
• Authors: Tao Huang, Jiayang Meng, Xu Yang, Chen Hou, Hong Chen,
• Abstract要約: Differentially Private Gradient Descent (DP-SGD)の下では、コンディショニング駆動のヘビーテール勾配が地球規模のクリッピングを引き起こす。 本研究では, DP対応型AdaLN-Zeroを提案する。 バニラDP-SGDに対する実世界のパワーデータセットと2つの公開ETTベンチマークで一貫した利得を観測する。
• 参考スコア（独自算出の注目度）: 29.965468717398554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Condition injection enables diffusion models to generate context-aware outputs, which is essential for many time-series tasks. However, heterogeneous conditional contexts (e.g., observed history, missingness patterns or outlier covariates) can induce heavy-tailed per-example gradients. Under Differentially Private Stochastic Gradient Descent (DP-SGD), these rare conditioning-driven heavy-tailed gradients disproportionately trigger global clipping, resulting in outlier-dominated updates, larger clipping bias, and degraded utility under a fixed privacy budget. In this paper, we propose DP-aware AdaLN-Zero, a drop-in sensitivity-aware conditioning mechanism for conditional diffusion transformers that limits conditioning-induced gain without modifying the DP-SGD mechanism. DP-aware AdaLN-Zero jointly constrains conditioning representation magnitude and AdaLN modulation parameters via bounded re-parameterization, suppressing extreme gradient tail events before gradient clipping and noise injection. Empirically, DP-SGD equipped with DP-aware AdaLN-Zero improves interpolation/imputation and forecasting under matched privacy settings. We observe consistent gains on a real-world power dataset and two public ETT benchmarks over vanilla DP-SGD. Moreover, gradient diagnostics attribute these improvements to conditioning-specific tail reshaping and reduced clipping distortion, while preserving expressiveness in non-private training. Overall, these results show that sensitivity-aware conditioning can substantially improve private conditional diffusion training without sacrificing standard performance.
• Abstract（参考訳）: 条件注入により、拡散モデルは、多くの時系列タスクに不可欠なコンテキスト対応の出力を生成することができる。 しかし、異質な条件付き文脈(例えば、観測された歴史、欠落パターン、または外部共変量)は、サンプルごとの重み付き勾配を誘導することができる。 Differentially Private Stochastic Gradient Descent (DP-SGD)の下では、これらの稀な条件付き重尾勾配がグローバルなクリッピングを不均等に引き起こし、アウトリアが支配する更新、より大きなクリッピングバイアス、固定されたプライバシ予算下での実用性が低下する。 本稿では,DP-SGD 機構を変更せずに条件付き利得を制限する条件付き拡散変圧器の高感度条件付け機構である DP 対応 AdaLN-Zero を提案する。 DP対応のAdaLN-Zeroは、境界再パラメータ化による表現サイズとAdaLN変調パラメータの条件付けを共同で制約し、勾配クリッピングおよびノイズ注入前の極端な勾配尾イベントを抑制する。 実証的に、DP対応のAdaLN-Zeroを搭載したDP-SGDは、一致したプライバシー設定下での補間/インプットと予測を改善する。 バニラDP-SGDに対する実世界のパワーデータセットと2つの公開ETTベンチマークで一貫した利得を観測する。 さらに、勾配診断は、これらの改善は、非私的訓練における表現性を保ちながら、条件付け固有のテールリフォーミングとクリッピング歪みの低減に起因している。 これらの結果から, 感度認識条件付けは, 標準性能を犠牲にすることなく, 個人の条件拡散訓練を大幅に改善できることが示された。

関連論文リスト

• An Adaptive Differentially Private Federated Learning Framework with Bi-level Optimization [10.218291445871435]
  フェデレーション学習は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 実際の展開では、デバイスの不均一性、非独立性、および同一に分散された(Non-IID)データは、しばしば非常に不安定で偏りのある勾配更新をもたらす。 異種およびプライバシー制約のある環境下でモデル効率を明示的に目標とする適応型微分プライベートなフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:27:33Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• DC-SGD: Differentially Private SGD with Dynamic Clipping through Gradient Norm Distribution Estimation [11.216548916537699]
  クリッピング閾値Cを動的に調整する動的クリッピングDP-SGD(DC-SGD)を提案する。 DC-SGD-Pは勾配ノルムのパーセンタイルに基づいてクリッピング閾値を調整する一方、DC-SGD-Eは勾配の2乗誤差を最小限に抑えてCを最適化する。 本結果は,DC-SGDの性能と効率性を強調し,差分学習のための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-03-29T06:27:22Z)
• Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
  我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。 このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。 DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
  論文  参考訳（メタデータ） (2024-11-05T12:47:30Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。