論文の概要: Revisiting Privacy Amplification by Subsampling in Selective Release DPSGD

• arxiv url: http://arxiv.org/abs/2606.04384v1
• Date: Wed, 03 Jun 2026 03:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.494824
• Title: Revisiting Privacy Amplification by Subsampling in Selective Release DPSGD
• Title（参考訳）: 選択的リリースDPSGDにおけるサブサンプリングによるプライバシ増幅の再検討
• Authors: Xiaobo Huang, Fang Xie,
• Abstract要約: クリッピンググラディエント(DPSR-CG)に基づく微分プライベート選択リリースを提案する。 DPSR-CG機構は、例外的なモデル性能を達成しつつ、厳格なプライバシ保証を維持していることを示す。
• 参考スコア（独自算出の注目度）: 4.723707756235521
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning's reliance on sensitive data necessitates privacy-preserving techniques like Differentially Private Stochastic Gradient Descent (DPSGD). However, DPSGD suffers from substantial utility degradation and slow convergence due to gradient clipping and noise injection. Prior works have attempted to improve DPSGD from various perspectives; notably, the Differentially Private Selective Update and Release (DPSUR) algorithm has achieved remarkable model utility. However, the privacy accounting in DPSUR overlooks the variation in sampling probability introduced by the selective release mechanism, which compromises the rigor of its privacy guarantees. To address these limitations, we re-evaluate the privacy analysis of the selective release mechanism and propose a novel algorithm: Differentially Private Selective Release based on Clipped Gradients (DPSR-CG). Through a rigorous, newly derived privacy analysis and extensive experiments on multiple datasets (MNIST, CIFAR-10, IMDB, and FMNIST), we demonstrate that our DPSR-CG mechanism maintains strict privacy guarantees while achieving exceptional model performance.
• Abstract（参考訳）: 機密データへの機械学習の依存は、DPSGD(Disferially Private Stochastic Gradient Descent)のようなプライバシ保護技術を必要とする。 しかし、DPSGDは、勾配クリッピングとノイズ注入による実用性低下と緩やかな収束に悩まされている。 先行研究は様々な観点からDPSGDの改善を試みており、特にDPSURアルゴリズムは優れたモデルユーティリティを達成している。 しかし、DPSURのプライバシ会計は、選択的なリリースメカニズムによって引き起こされるサンプリング確率の変動を見落とし、プライバシ保証の厳密さを損なう。 これらの制約に対処するため、選択的リリース機構のプライバシー分析を再評価し、クリッピンググラディエント(DPSR-CG)に基づく微分プライベート選択リリースという新しいアルゴリズムを提案する。 複数のデータセット(MNIST, CIFAR-10, IMDB, FMNIST)の厳密で新しいプライバシ分析と広範な実験により, DPSR-CG機構が厳密なプライバシ保証を維持し, 例外的なモデル性能を実現していることを示す。

関連論文リスト

• An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses [26.98562734120675]
  我々は、差分的にプライベートなグラディエントDescentの厳格なプライバシとユーティリティ特性を提供する。 境界領域を持つDPSGDの場合、プライバシー損失は凸性仮定なしで収束可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-25T02:05:41Z)
• Differentially Private Random Feature Model [47.35176457481132]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Weights Shuffling for Improving DPSGD in Transformer-based Models [7.356743536182233]
  本研究は,DPSGD(differially-Private Gradient Descent)における革新的なシャッフル機構を導入し,非シャッフルケースと同じプライバシ保証で大規模モデルの実用性を向上する。 順列化は理論上はDPSGDのプライバシー保証を改善するが、シャッフルモデル上での正確なプライバシー損失の追跡は特に困難である。
  論文  参考訳（メタデータ） (2024-07-22T06:41:59Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。