論文の概要: Can Rényi Accountants Beat Lossless Accountants for DP-SGD?
- arxiv url: http://arxiv.org/abs/2610.17120v1
- Date: Mon, 12 Oct 2026 17:13:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 03:09:54.582492
- Title: Can Rényi Accountants Beat Lossless Accountants for DP-SGD?
- Title（参考訳）: レニイ会計士はDP-SGDで無損失会計士に勝てるのか?
- Abstract要約: 本研究では, 差分的プライベート勾配 (DP-SGD) の問題について検討した。
我々は,最悪の場合の分布を2次元ガウス混合として特徴づけ,DP-SGDに対して改良されたレニイDPを導出する。
- 参考スコア（独自算出の注目度）: 2.3689955632456092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent frameworks in differential privacy (DP), such as privacy loss distributions and $f$-DP, provide lossless representations of the privacy leakage of mechanisms. These approaches are often considered to yield tighter $(\varepsilon, δ)$-DP guarantees than those obtained from relaxed notions such as Rényi DP. But is that always the case? We study this question for differentially private stochastic gradient descent (DP-SGD) with fixed-size batches under replace adjacency. Our key observation is that in this setting, privacy accounting based on Rényi DP can use a pair of worst-case distributions (i.e., a dominating pair) that differs from the one used in the lossless frameworks. In particular, we characterize the worst-case distributions as two-dimensional Gaussian mixtures and derive an improved Rényi DP bound for DP-SGD. Numerical and asymptotic comparisons show that across various hyperparameter settings, a Rényi DP accountant based on the new bound can yield better privacy guarantees than those obtained from the lossless frameworks.
- Abstract（参考訳）: プライバシー損失分布や$f$-DPのような近年の差分プライバシー(DP)フレームワークは、メカニズムのプライバシー漏洩の損失のない表現を提供する。
これらのアプローチは、レニイDPのような緩和された概念から得られるものよりも、より厳密な$(\varepsilon, δ)$-DP保証が得られると考えられている。
しかし、いつもそうだろうか?
本研究では, 固定サイズバッチを用いたDP-SGD (differentially private stochastic gradient descent) について検討した。
私たちのキーとなる観察は、この設定では、Rényi DPに基づくプライバシ会計は、損失のないフレームワークで使用されるものと異なる、最悪のケースの分散(すなわち、支配的なペア)を使用することができるということです。
特に,最悪の場合の分布を2次元ガウス混合として特徴づけ,DP-SGDに対して改良されたレニイDPを導出する。
数値的および漸近的な比較は、様々なハイパーパラメータ設定において、新しい境界に基づくレニイDP会計士は、損失のないフレームワークから得られるものよりも優れたプライバシー保証が得られることを示している。
関連論文リスト
- Unifying Privacy Accounting: Information Equivalence and Information Loss [3.1848820580333737]
統合情報理論フレームワークでは,4つの主流の曲線に基づくプライバシ概念を考察する。
標準ノイズメカニズムに対して、正確な曲線とそのz境界間の情報損失を定量化する。
我々の情報理論的視点は実践的な結果をもたらす。
論文 参考訳（メタデータ） (2026-10-01T19:37:35Z) - Rényi Differential Privacy for Heavy-Tailed SDEs via Fractional Poincaré Inequalities [14.760162530695661]
近年, 重み付き勾配降下に対するDP保証値が得られた。
DPと重み付きSGDの差分リンクに新しい光を流すが、これらの結果はパラメータ数に強く依存する。
我々のフレームワークは、新しいレニイフロー計算と、確立された分数的ポアンカレ不等式の使用に基づいている。
論文 参考訳（メタデータ） (2025-11-19T17:18:54Z) - Machine Learning with Privacy for Protected Attributes [56.44253915927481]
差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。
私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。
各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2025-06-24T17:53:28Z) - Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement [6.494759487261151]
固定サイズサブサンプリングシステムにおけるDP-SGD勾配は、メモリ使用率のメリットに加えて、実際的なばらつきが低い。
広範に使われているPoissonサブサンプリングとFSwoRが置き換え1つの隣接性を持つことが、サンプリング確率の上位に同じプライバシを持つことを示す。
論文 参考訳（メタデータ） (2024-08-19T23:57:31Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳（メタデータ） (2024-03-07T21:22:07Z) - Individual Privacy Accounting with Gaussian Differential Privacy [8.81666701090743]
個別のプライバシ会計は、分析に関わる各関係者に対して、差分プライバシー(DP)の損失を個別に制限することを可能にする。
個人のプライバシー損失を原則的に説明するためには、ランダム化機構の適応的な構成のためのプライバシー会計士が必要である。
論文 参考訳（メタデータ） (2022-09-30T17:19:40Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Three Variants of Differential Privacy: Lossless Conversion and
Applications [13.057076084452016]
本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。
まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。
アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
論文 参考訳（メタデータ） (2020-08-14T18:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。