論文の概要: Privacy Accounting for Empirical Denoisers

• arxiv url: http://arxiv.org/abs/2610.27710v1
• Date: Tue, 20 Oct 2026 06:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.673265
• Title: Privacy Accounting for Empirical Denoisers
• Title（参考訳）: 実証的嫌悪者のためのプライバシ会計
• Abstract要約: サンプリングプロセス自体において、どの程度のプライバシ損失が発生するかを調べる。 その結果,拡散モデルのプライバシはトレーニング手順だけでなく,サンプリング時間設計の選択にも依存していることがわかった。
• 参考スコア（独自算出の注目度）: 10.204033467668575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as the foundation of modern generative systems, yet their high memorization capacity raises privacy concerns. While differentially private (DP) training provides formal guarantees, it comes at a cost in sample quality. In this work, we study a complementary question: how much privacy loss is incurred during the sampling process itself? Directly analyzing modern neural denoisers is challenging because their sensitivity to a single training example is generally intractable. To overcome this challenge, we construct and analyze a clipped privacy-accountable empirical denoiser, a training-free estimator of the Bayes-optimal denoiser, whose per-step sensitivity can be computed explicitly, allowing each denoising step to be a Gaussian mechanism. This perspective enables privacy accounting under Gaussian DP when each training example contributes to each denoising step, and under $f$-DP trade-off functions when each generated sample uses a single randomly subsampled block of the training data. We report every $(\varepsilon, δ)$ guarantee as a certified upper bound from a privacy loss distribution accountant, and use a cumulant-based Edgeworth approximation as a fast diagnostic, characterizing where it is reliable and where it becomes anti-conservative. We also analyze the privacy loss along the denoising trajectory and show that it grows steeply near the critical window in which semantic content is formed. This observation motivates hybrid samplers that use the private empirical denoiser through the formative steps where it remains a faithful proxy for the neural denoiser, then switch to a public neural denoiser for the remaining refinement. Our results on CIFAR-10 and CelebA-64 show that the privacy of diffusion models depends not only on the training procedure, but also on sampling-time design choices such as subsampling, stopping time, and hybrid denoising.
• Abstract（参考訳）: 拡散モデルは近代的な生成システムの基盤として現れてきたが、その高記憶能力はプライバシーの懸念を高めている。 差分プライベート(DP)トレーニングは正式な保証を提供するが、サンプル品質のコストがかかる。 本研究では,サンプリングプロセス自体において,どの程度のプライバシ損失が発生するのかという,補完的な疑問について検討する。 現代のニューラルデノイザーを直接分析することは、単一のトレーニング例に対する感度が一般的に難易度が高いため、難しい。 この課題を克服するために,ベイズ最適デノイザのトレーニング不要推定器であるクリッピングされたプライバシ対応経験型デノイザを構築し,解析し,各デノイザをガウス的機構とする。 この視点は、各トレーニング例が各デノナイズステップに寄与するときにガウスDPの下でのプライバシ会計を可能にし、各生成されたサンプルがトレーニングデータのランダムにサブサンプル化されたブロックを使用するとき、$f$-DPのトレードオフ関数以下を可能にする。 プライバシ損失分散会計士から認定された上限として、すべての$(\varepsilon, δ)$の保証を報告し、累積的なEdgeworth近似を高速診断として使用し、信頼性のある場所と保守的でない場所を特徴付ける。 また,認知の軌跡に沿ったプライバシ損失を分析し,セマンティックコンテンツが形成されるクリティカルウィンドウ付近で急速に成長していることを示す。 この観察は、ニューラルデノイザの忠実なプロキシを保ちながら、残りの改善のためにパブリックなニューラルデノイザに切り替えるフォーマティブステップを通じて、プライベートな経験的デノイザを使用するハイブリッドサンプリングを動機付けている。 CIFAR-10とCelebA-64の結果から,拡散モデルのプライバシはトレーニング手順だけでなく,サブサンプリング,停止時間,ハイブリッドデノーミングなどのサンプリング時間設計の選択にも依存していることがわかった。

関連論文リスト

• Let's Ask Gauss: Improved One-Run Privacy Auditing [6.481993597228151]
  差分プライベート(DP)機械学習における経験的プライバシ監査について検討する。 DP監査フレームワークを開発し、単一のトレーニング実行からプライバシーの低いバウンダリを厳格化する。
  論文  参考訳（メタデータ） (2026-06-10T22:44:47Z)
• Combating Noisy Labels through Fostering Self- and Neighbor-Consistency [120.4394402099635]
  ラベルノイズは様々な現実世界のシナリオで広まり、教師付きディープラーニングの課題を提起する。 我々は、Jo-SNC(textbfSelf- と textbfNeighbor-textbfConsistency に基づくサンプル選択とモデル正規化)というノイズロバスト手法を提案する。 我々は、クラスごとの選択閾値を調整するための自己適応型データ駆動しきい値設定方式を設計する。
  論文  参考訳（メタデータ） (2026-01-19T07:55:29Z)
• Differentially Private Two-Stage Gradient Descent for Instrumental Variable Regression [22.733602577854825]
  差分プライバシー制約下でのインストゥルメンタル変数回帰(IVaR)について検討する。 勾配更新に慎重に校正された雑音を注入することにより、差分プライバシーを確保するノイズの多い2状態勾配降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-26T18:02:58Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Differentially Private Statistical Inference through $\beta$-Divergence One Posterior Sampling [2.8544822698499255]
  本稿では,モデルとデータ生成プロセス間の$beta$-divergenceの最小化を目標とした,一般化後部からの後部サンプリング手法を提案する。 これにより、基礎となるモデルの変更を必要とせずに、一般的に適用可能なプライベートな推定が可能になる。 我々は、$beta$D-Bayesが同一のプライバシー保証に対してより正確な推測を行うことを示す。
  論文  参考訳（メタデータ） (2023-07-11T12:00:15Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。