論文の概要: FIBER: A Differentially Private Optimizer with Filter-Aware Innovation Bias Correction

• arxiv url: http://arxiv.org/abs/2605.03425v1
• Date: Tue, 05 May 2026 07:02:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.809127
• Title: FIBER: A Differentially Private Optimizer with Filter-Aware Innovation Bias Correction
• Title（参考訳）: FIBER:フィルタ対応イノベーションバイアス補正による個人別最適化
• Authors: Duc Dm, Thao Do, Minh Son Hoang, Anh Le Duc Tran, Daeyoung Kim, Huy Nguyen,
• Abstract要約: 本研究では, 時相フィルタによる民生化勾配に対するDPであるFiBeRを提案する。 ビジョンと言語ベンチマークを通じて、FiBeRは一貫してDPのパフォーマンスを大幅に改善している。
• 参考スコア（独自算出の注目度）: 10.531164867030272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private (DP) training protects individual examples by adding noise to gradients, but the injected noise interacts nontrivially with adaptive optimizers. Recent DP methods temporally filter privatized gradients to reduce variance; however, filtering also changes the DP noise statistics seen by AdamW's second-moment accumulator. As a result, bias corrections derived for unfiltered DP noise, such as subtracting sigma_w squared, can become miscalibrated when filtering is present. We propose FiBeR, a DP optimizer designed for temporally filtered privatized gradients. FiBeR (i) performs denoising in innovation space by filtering the residual stream and integrating it to form the filtered gradient estimate, (ii) decouples the two-point observation geometry from the innovation gain to enable independent tuning, and (iii) introduces a filter-aware second-moment calibration that subtracts the attenuated DP noise contribution A(omega) sigma_w squared, where A(omega) is derived in closed form for the innovation filter and can be computed for general stable linear filters. Across vision and language benchmarks, FiBeR consistently demonstrates substantial improvements in the performance of DP optimizers, surpassing state-of-the-art results under equivalent privacy constraints on multiple tasks.
• Abstract（参考訳）: 差分プライベート(DP)トレーニングは、勾配にノイズを加えることによって個々の例を保護するが、注入されたノイズは適応最適化器と非自明に相互作用する。 近年のDP法では、民生化勾配を時間的にフィルタリングして分散を低減しているが、AdamWの第二モーメント累積器で見られるDPノイズ統計も変化している。 その結果、フィルタが存在する場合には、シグマ_w二乗を減算するなどの未フィルタリングDPノイズから導出されるバイアス補正が誤校正される。 本研究では,時間的フィルタによる民生化勾配を最適化するDPオプティマイザFiBeRを提案する。 FiBeR i) 残差ストリームをフィルタリングし、それをフィルタした勾配推定値に積分することにより、イノベーション空間におけるデノナイズを行う。 二 独立チューニングを可能にするため、イノベーションゲインから二点観察幾何学を分離し、 (iii) 減衰DPノイズコントリビューションA(omega) sigma_w2乗を減算するフィルタ対応2次モードキャリブレーションを導入し、A(omega) は革新フィルタの閉形式として導出され、一般的な安定線形フィルタに対して計算できる。 ビジョンと言語ベンチマーク全体にわたって、FiBeRはDPオプティマイザのパフォーマンスを大幅に改善し、複数のタスクにおける同等のプライバシー制約の下で最先端の結果を上回っている。

関連論文リスト

• Differentiable Attenuation Filters for Feedback Delay Networks [3.8530395083350615]
  フィードバック遅延ネットワーク(FDN)に基づくディジタルオーディオ残響システムにおける減衰フィルタの設計手法を提案する。 パラメトリック等化器 (PEQ) として配置された無限インパルス応答 (IIR) フィルタの第2次セクション (SOS) を用いる。 本手法は, フレキシブルかつ微分可能な設計を実現し, 計算コストを大幅に削減すると共に, フォーマンス・オブ・ザ・アーティファクトを実現する。
  論文  参考訳（メタデータ） (2025-11-25T15:01:55Z)
• Enhancing DPSGD via Per-Sample Momentum and Low-Pass Filtering [4.9871580445771455]
  Differentially Private Gradient Descent(DPSGD)は、正式なプライバシ保証を備えたディープニューラルネットワークのトレーニングに広く使用されている。 既存の手法は、DPノイズの低減がクリッピングバイアスと逆効果を悪化させるため、これらの問題の1つにのみ対処する。 本研究では,サンプルごとの運動量と低域通過フィルタを併用してDPノイズとクリッピングバイアスを同時に緩和する新しい手法であるemphDP-PMLFを提案する。
  論文  参考訳（メタデータ） (2025-11-11T23:40:02Z)
• Fast Fourier Transform-Based Spectral and Temporal Gradient Filtering for Differential Privacy [1.5766082819987293]
  FFT強化カルマンフィルタ(FFTKF)を導入する。 FFTKFは、プライバシーノイズを少ない高周波成分に変えるために周波数領域フィルタリングを適用している。 MNIST、CIFAR-10、CIFAR-100、CNN、ワイドレスネット、ビジョントランスフォーマーによるTiny-ImageNetのDP-SGDやDiSKよりも高いテスト精度を実現する。
  論文  参考訳（メタデータ） (2025-05-07T14:38:58Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction [47.65999101635902]
  差分プライベート(DP)トレーニングは、トレーニングされた機械学習モデルから収集したトレーニングデータの機密情報の漏洩を防止する。 DOPPLERと呼ばれる新しいコンポーネントを開発し、この周波数領域内のDPノイズを効果的に増幅する。 実験の結果,低域通過フィルタを用いたDPは,試験精度で3%-10%向上した。
  論文  参考訳（メタデータ） (2024-08-24T04:27:07Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments [13.49645012479288]
  ノイズローバストオンラインデバーベレーションのためのニューラルネットワーク拡張アルゴリズムを提案する。 提示されたフレームワークは、単一チャネルのノイズの多い残響データセット上で堅牢なデバーベレーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T11:38:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。