論文の概要: PAC-Private Responses with Adversarial Composition

• arxiv url: http://arxiv.org/abs/2601.14033v1
• Date: Tue, 20 Jan 2026 14:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.362919
• Title: PAC-Private Responses with Adversarial Composition
• Title（参考訳）: PAC-Private Responses with Adversarial composition (特集 情報ネットワーク)
• Authors: Xiaochen Zhu, Mayuri Sridhar, Srinivas Devadas,
• Abstract要約: PACプライバシは、任意のブラックボックス機能に対して、インスタンスベースのプライバシ保証を提供する。 適応雑音校正による逆合成を実現する新しいアルゴリズムを提案する。 実験により, ステップごとのプライバシー予算が極端に小さく, 有効性が高いことがわかった。
• 参考スコア（独自算出の注目度）: 11.108854725676006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning models are increasingly deployed behind APIs. This renders standard weight-privatization methods (e.g. DP-SGD) unnecessarily noisy at the cost of utility. While model weights may vary significantly across training datasets, model responses to specific inputs are much lower dimensional and more stable. This motivates enforcing privacy guarantees directly on model outputs. We approach this under PAC privacy, which provides instance-based privacy guarantees for arbitrary black-box functions by controlling mutual information (MI). Importantly, PAC privacy explicitly rewards output stability with reduced noise levels. However, a central challenge remains: response privacy requires composing a large number of adaptively chosen, potentially adversarial queries issued by untrusted users, where existing composition results on PAC privacy are inadequate. We introduce a new algorithm that achieves adversarial composition via adaptive noise calibration and prove that mutual information guarantees accumulate linearly under adaptive and adversarial querying. Experiments across tabular, vision, and NLP tasks show that our method achieves high utility at extremely small per-query privacy budgets. On CIFAR-10, we achieve 87.79% accuracy with a per-step MI budget of $2^{-32}$. This enables serving one million queries while provably bounding membership inference attack (MIA) success rates to 51.08% -- the same guarantee of $(0.04, 10^{-5})$-DP. Furthermore, we show that private responses can be used to label public data to distill a publishable privacy-preserving model; using an ImageNet subset as a public dataset, our model distilled from 210,000 responses achieves 91.86% accuracy on CIFAR-10 with MIA success upper-bounded by 50.49%, which is comparable to $(0.02,10^{-5})$-DP.
• Abstract（参考訳）: 現代の機械学習モデルは、APIの裏側にますます展開されている。 これにより、標準の重量民営化法(例えばDP-SGD)を実用コストで不要にノイズを発生させる。 モデルの重みはトレーニングデータセットによって大きく異なる場合があるが、特定の入力に対するモデル応答はより低次元でより安定である。 これにより、モデル出力に直接プライバシ保証を強制するモチベーションがもたらされる。 我々は、相互情報(MI)を制御することで、任意のブラックボックス機能に対してインスタンスベースのプライバシ保証を提供するPACプライバシの下でこれをアプローチする。 重要なことに、PACプライバシは、ノイズレベルを下げた出力安定性を明示的に報いる。 しかし、重要な課題が残る: 応答プライバシは、PACプライバシに関する既存の構成結果が不十分な、多数の順応的に選択された潜在的に敵対的なクエリを構成する必要がある。 本稿では,適応雑音キャリブレーションによる対向合成を実現するアルゴリズムを提案し,相互情報保証が適応的・対向的な問合せの下で線形に蓄積されることを証明した。 表計算,視覚,NLPタスクを対象とした実験により,我々の手法は,クエリごとのプライバシー予算が極端に小さい場合に高い有効性を発揮することが示された。 CIFAR-10では、ステップ単位のMI予算が$2^{-32}$で87.79%の精度を達成した。 これにより、100万のクエリに対して、メンバシップ推論攻撃(MIA)の成功率を51.08%に保証しながら、100万のクエリを提供することができる。 さらに、パブリックデータをラベル付けして公開可能なプライバシ保存モデルを抽出することができることを示し、ImageNetサブセットをパブリックデータセットとして使用することにより、210,000のレスポンスから抽出したモデルは、CIFAR-10上で91.86%の精度を実現し、MIA成功率は50.49%、$(0.02,10^{-5})$-DPに匹敵する。

関連論文リスト

• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
  推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。 我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2023-04-17T00:38:01Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。