論文の概要: Closed-Form Noise Calibration Against Membership Inference for Random-Allocation DP-SGD
- arxiv url: http://arxiv.org/abs/2610.09651v1
- Date: Wed, 07 Oct 2026 08:23:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.796193
- Title: Closed-Form Noise Calibration Against Membership Inference for Random-Allocation DP-SGD
- Title（参考訳）: ランダム配置DP-SGDの会員推定に対する閉形式雑音校正
- Abstract要約: DP-SGDはクリッピング勾配にガウスノイズを加えることでトレーニングデータを保護する。
我々は、トレーニングされたモデル上で、各メンバーシップ推論攻撃(MIA)の精度を束縛する1行公式を与える。
トレーニングでは、結果として$$が公式を上回り、発行された会計士とテスト精度で一致する。
- 参考スコア（独自算出の注目度）: 7.787109481104569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DP-SGD protects training data by adding Gaussian noise to clipped gradients. The amount of noise is usually chosen by running a numerical privacy accountant inside a search. We study DP-SGD with random allocation, where each epoch uses every record once, at a randomly chosen step. For this setting we give a one-line formula that bounds the accuracy of every membership inference attack (MIA) on the trained model. With $M$ steps per epoch, $E$ epochs and noise multiplier $σ$, and with membership and non-membership equally likely a priori, the attack accuracy is at most $\frac12+\frac14\sqrt{(1+(e^{1/σ^2}-1)/M)^E-1}$. The formula comes from the chi-square divergence between a Gaussian distribution and a Gaussian mixture that dominates random allocation. It is interpretable and gives $σ$ in about a microsecond. Where applicable, our formula needs at most about half the noise of the state-of-the-art closed-form bound. To measure how close the bound is, we also derive an exact expression for the attack accuracy of these two distributions and evaluate it numerically. Calibrating to this exact expression requires $13.0\%$ to $20.2\%$ less noise than the formula in our main experiments, and since it is exact, no accountant that knows only $M$, $E$ and $σ$ can certify a smaller $σ$. In training, the resulting $σ$ outperforms the formula and matches a published accountant in test accuracy. It is found in seconds and certified in minutes, whereas every search we ran with that accountant took longer or returned at least $0.62\%$ more noise. We show that MIAs on the trained models stay below the bound.
- Abstract（参考訳）: DP-SGDはクリッピング勾配にガウスノイズを加えることでトレーニングデータを保護する。
ノイズの量は、通常、検索内で数値的なプライバシー会計士を実行することで選択される。
DP-SGDをランダムに割り当て、各エポックは各レコードをランダムに選択されたステップで1回ずつ使用する。
この設定のために、トレーニングされたモデル上の全てのメンバーシップ推論アタック(MIA)の精度を束縛する1行公式を与える。
epoch あたり$M$ ステップ、$E$ epochs と noise multiplier $σ$ と、メンバーシップと非メンバシップが同様に優先される場合、攻撃精度は最大$\frac12+\frac14\sqrt{(1+(e^{1/σ^2}-1)/M)^E-1}$である。
この公式は、ガウス分布とランダムな割り当てを支配するガウス混合の間のカイ二乗の発散に由来する。
解釈可能で、約1マイクロ秒で$σ$を与える。
適用可能な場合、我々の公式は、最先端の閉形式境界の雑音の少なくとも半分を必要とする。
また,これらの2つの分布の攻撃精度の正確な表現を導出し,数値的に評価する。
この正確な式をキャリブレーションするには、13.0\%$から20.2\%$未満のノイズが必要であり、正確には、M$、$E$、$σ$しか知らない会計士は小さな$σ$を認証できない。
トレーニングにおいて、結果の$σ$は公式を上回り、公表された会計士とテスト精度で一致する。
これは数秒で発見され、数分で認定されるが、その会計士と行った全ての検索は、少なくとも0.62\%$以上のノイズがかかっていた。
トレーニングされたモデルのMIAが境界以下であることを示す。
関連論文リスト
- Asymptotic-Preserving A Posteriori Analysis of Diffusion and Flow-Matching Samplers [0.6768558752130311]
拡散及びフローマッチングサンプリングは、学習した確率フローODEを、大きなノイズスケールから小さな終端フロア($_min$)まで統合し、スコアが硬く、フローが境界層を発達させる。
特異摂動パラメータとして$_min$を扱い、どの固定ステップサンプリングが解けるかを決定する。
論文 参考訳（メタデータ） (2026-07-05T04:48:33Z) - Adaptive Confidence Intervals in Efron's Gaussian Two-Groups Model [28.636700996382558]
敵のノイズに満ちた性質により、Efronのガウス的二群分数モデルにおいて、ヌル位置パラメータ$$に対する信頼区間を研究する。
信頼区間の最小最適長を、未知の割合の汚染と全てのノイズに満ちた敵に対して、所定のカバレッジレベルで特徴付ける。
論文 参考訳（メタデータ） (2026-04-28T22:40:54Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Privacy Loss of Noise Perturbation via Concentration Analysis of A Product Measure [9.081364242189691]
本稿では,このノイズが典型的に球対称であるという事実を活用して$mathbfn$を生成する新しいスキームを提案する。
同じ$(,)$-DPの保証の下で、我々のメカニズムは、高次元の古典ガウスノイズよりも期待される音の大きさが小さい。
論文 参考訳（メタデータ） (2025-12-06T02:55:46Z) - Beyond Laplace and Gaussian: Exploring the Generalized Gaussian Mechanism for Private Machine Learning [49.66162382667325]
一般化ガウス機構(英語版)を考察し、ある$beta geq 1$に対して$e-frac| x |sigmabeta $ に比例した付加雑音項 $x$ をサンプリングする。
GGメカニズムとその変種に対するプライバシ会計は独立であり、プライバシ会計の計算コストを大幅に向上させることを示す。
論文 参考訳（メタデータ） (2025-06-14T15:49:25Z) - Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。
各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。
第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
論文 参考訳（メタデータ） (2023-02-18T09:24:15Z) - DP-PCA: Statistically Optimal and Differentially Private PCA [44.22319983246645]
DP-PCAは、両方の制限を克服するシングルパスアルゴリズムである。
準ガウスデータに対しては、$n=tilde O(d)$ であっても、ほぼ最適な統計的誤差率を提供する。
論文 参考訳（メタデータ） (2022-05-27T02:02:17Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。