論文の概要: Spectral and Temporal Denoising for Differentially Private Optimization

• arxiv url: http://arxiv.org/abs/2505.04468v1
• Date: Wed, 07 May 2025 14:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.11384
• Title: Spectral and Temporal Denoising for Differentially Private Optimization
• Title（参考訳）: 個人差分最適化のためのスペクトル・時間分解法
• Authors: Hyeju Shin, Kyudan Jung, Seongwon Yun, Juyoung Yun,
• Abstract要約: 本稿では,DP-SGDの性能維持の課題に対処する,差分プライベートな最適化手法であるFFTKFを提案する。 FFTKFは周波数領域のノイズシェーピングとカルマンフィルタを統合して、$(varepsilon, delta)$-DP保証を維持しながら勾配品質を向上させる。 FFTKFは$mathcalO(d log d)$で、DP-SGDとDiSKよりも精度が向上している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper introduces the FFT-Enhanced Kalman Filter (FFTKF), a differentially private optimization method that addresses the challenge of preserving performance in DP-SGD, where added noise typically degrades model utility. FFTKF integrates frequency-domain noise shaping with Kalman filtering to enhance gradient quality while preserving $(\varepsilon, \delta)$-DP guarantees. It employs a high-frequency shaping mask in the Fourier domain to concentrate differential privacy noise in less informative spectral components, preserving low-frequency gradient signals. A scalar-gain Kalman filter with finite-difference Hessian approximation further refines the denoised gradients. With a per-iteration complexity of $\mathcal{O}(d \log d)$, FFTKF demonstrates improved test accuracy over DP-SGD and DiSK across MNIST, CIFAR-10, CIFAR-100, and Tiny-ImageNet datasets using CNNs, Wide ResNets, and Vision Transformers. Theoretical analysis confirms that FFTKF maintains equivalent privacy guarantees while achieving a tighter privacy-utility trade-off through reduced noise and controlled bias.
• Abstract（参考訳）: 本稿では,FFT拡張カルマンフィルタ(FFTKF)について紹介する。これはDP-SGDにおける性能維持の課題に対処する,微分プライベートな最適化手法である。 FFTKFは周波数領域のノイズシェーピングとカルマンフィルタを統合して、$(\varepsilon, \delta)$-DP保証を維持しながら勾配品質を向上させる。 フーリエ領域で高周波整形マスクを用いて、低周波勾配信号を保存するために、低情報スペクトル成分に差分プライバシーノイズを集中させる。 有限差分ヘッセン近似を持つスカラーゲインカルマンフィルタは、さらに微分勾配を洗練させる。 FFTKFは$\mathcal{O}(d \log d)$で、MNIST、CIFAR-10、CIFAR-100、Tiny-ImageNetデータセットに対して、CNN、Wide ResNets、Vision Transformersを使ったDP-SGDとDiSKによるテスト精度の改善を示す。 理論的分析は、FFTKFがノイズの低減と制御バイアスを通じてより厳密なプライバシー利用トレードオフを達成しつつ、同等のプライバシー保証を維持していることを確認している。

関連論文リスト

• S-Diff: An Anisotropic Diffusion Model for Collaborative Filtering in Spectral Domain [23.22881271027173]
  グラフに基づく協調フィルタリングにインスパイアされたS-Diffを提案する。 S-Diffは、ユーザの相互作用ベクトルをスペクトル領域にマッピングし、拡散ノイズをパラメータ化してグラフ周波数に合わせる。 この異方性拡散は重要な低周波成分を保持し、高い信号対雑音比を保持する。
  論文  参考訳（メタデータ） (2024-12-31T10:54:41Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Frequency-aware Feature Fusion for Dense Image Prediction [99.85757278772262]
  本稿では,高密度画像予測のための周波数認識機能融合(FreqFusion)を提案する。 FreqFusionは、Adaptive Low-Pass Filter (ALPF) ジェネレータ、オフセットジェネレータ、Adaptive High-Pass Filter (AHPF) ジェネレータを統合する。 包括的可視化と定量的分析は、FreqFusionが機能一貫性を効果的に改善し、オブジェクト境界を鋭くすることを示している。
  論文  参考訳（メタデータ） (2024-08-23T07:30:34Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
  本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。 プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。 本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T21:39:27Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments [13.49645012479288]
  ノイズローバストオンラインデバーベレーションのためのニューラルネットワーク拡張アルゴリズムを提案する。 提示されたフレームワークは、単一チャネルのノイズの多い残響データセット上で堅牢なデバーベレーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T11:38:04Z)
• Using Kalman Filter The Right Way: Noise Estimation Is Not Optimal [46.556605821252276]
  kfの仮定を少しでも破っても、効果のあるノイズを著しく修正できることを示す。 KFの対称および正定値(SPD)パラメータに勾配に基づく最適化を効率的に適用する方法を提案する。
  論文  参考訳（メタデータ） (2021-04-06T08:59:15Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。