論文の概要: Empirical Privacy Variance

• arxiv url: http://arxiv.org/abs/2503.12314v1
• Date: Sun, 16 Mar 2025 01:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:59:56.906459
• Title: Empirical Privacy Variance
• Title（参考訳）: 経験的プライバシー変数
• Authors: Yuzheng Hu, Fan Wu, Ruicheng Xian, Yuhang Liu, Lydia Zakynthinou, Pritish Kamath, Chiyuan Zhang, David Forsyth,
• Abstract要約: モデルのキャリブレーションが同じ$(varepsilon, delta)$-DPの保証は、経験的プライバシにおいて大きなバリエーションを示すことを示す。 複数の次元にわたるこの現象の一般性について検討し、なぜ驚きかつ関連性があるのかを論じる。 プライバシ監査のような既存のテクニックの限界を特定し,今後の研究に向けたオープンな質問を概説する。
• 参考スコア（独自算出の注目度）: 32.41387301450962
• License:
• Abstract: We propose the notion of empirical privacy variance and study it in the context of differentially private fine-tuning of language models. Specifically, we show that models calibrated to the same $(\varepsilon, \delta)$-DP guarantee using DP-SGD with different hyperparameter configurations can exhibit significant variations in empirical privacy, which we quantify through the lens of memorization. We investigate the generality of this phenomenon across multiple dimensions and discuss why it is surprising and relevant. Through regression analysis, we examine how individual and composite hyperparameters influence empirical privacy. The results reveal a no-free-lunch trade-off: existing practices of hyperparameter tuning in DP-SGD, which focus on optimizing utility under a fixed privacy budget, often come at the expense of empirical privacy. To address this, we propose refined heuristics for hyperparameter selection that explicitly account for empirical privacy, showing that they are both precise and practically useful. Finally, we take preliminary steps to understand empirical privacy variance. We propose two hypotheses, identify limitations in existing techniques like privacy auditing, and outline open questions for future research.
• Abstract（参考訳）: 本稿では,経験的プライバシー分散の概念を提案し,言語モデルの個人的微調整の文脈で研究する。 具体的には、異なるハイパーパラメータ構成のDP-SGDを用いて、同じ$(\varepsilon, \delta)$-DPでキャリブレーションされたモデルが、経験的プライバシに大きな変化を示し、記憶のレンズを通して定量化することを示した。 複数の次元にわたるこの現象の一般性について検討し、なぜ驚きかつ関連性があるのかを論じる。 回帰分析により,個人および複合型ハイパーパラメータが経験的プライバシにどのように影響するかを検討する。 DP-SGDにおけるハイパーパラメータチューニングの既存の実践は、固定されたプライバシー予算の下でユーティリティを最適化することに重点を置いており、実証的なプライバシを犠牲にすることが多い。 そこで本研究では,経験的プライバシを明示的に考慮したハイパーパラメータ選択のための洗練されたヒューリスティックスを提案し,それらが正確かつ実用的に有用であることを示す。 最後に、経験的プライバシーのばらつきを理解するための予備的なステップを取ります。 プライバシ監査のような既存のテクニックの限界を特定し,今後の研究に向けたオープンな質問を概説する。

関連論文リスト

• Differentially Private Random Feature Model [52.468511541184895]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Revisiting Differentially Private Hyper-parameter Tuning [20.278323915802805]
  最近の研究はチューニングプロセスに汎用的なプライベートセレクションソリューションを提案するが、根本的な疑問が残る。 本稿では,この問題について詳細に検討する。 以上の結果から, 厳密な監査設定下においても, 現在の理論的プライバシー境界と経験的バウンダリとの間には, かなりのギャップがあることが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T15:29:49Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• On the Complexity of Differentially Private Best-Arm Identification with Fixed Confidence [16.295693624977563]
  我々は、$epsilon$-global Differential Privacyの下で、信頼度を固定したベストアーム識別の問題について検討する。 われわれの限界は、プライバシー予算によって2つのプライバシー体制が存在することを示唆している。 我々はトップ2アルゴリズムの$epsilon$-global DP変種であるAdaP-TTを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:07:25Z)
• A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
  推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。 我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2023-04-17T00:38:01Z)
• Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis Testing: A Lesson From Fano [83.5933307263932]
  本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。 基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
  論文  参考訳（メタデータ） (2022-10-24T23:50:12Z)
• On the Statistical Complexity of Estimation and Testing under Privacy Constraints [17.04261371990489]
  差分プライバシー下での統計的テストのパワーをプラグアンドプレイ方式で特徴付ける方法を示す。 プライバシ保護のレベルが非常に高い場合にのみ、プライバシの維持が顕著なパフォーマンス低下をもたらすことを示す。 最後に,プライベート凸解法であるDP-SGLDアルゴリズムを高信頼度で最大推定できることを示した。
  論文  参考訳（メタデータ） (2022-10-05T12:55:53Z)
• Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
  我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。 本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2022-09-08T22:43:50Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Assessing Differentially Private Variational Autoencoders under Membership Inference [26.480694390462617]
  差分プライベートな変分オートエンコーダのプライバシーと精度のトレードオフを定量化し比較する。 変分オートエンコーダのプライバシーと精度のトレードオフを良好に観察することはめったになく,LCPがCDPを上回った事例を特定する。
  論文  参考訳（メタデータ） (2022-04-16T21:53:09Z)
• Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective [7.60875347889224]
  NILM推論の理論的精度と差分プライバシーパラメータのギャップを橋渡しする。 マルチショットNILM問題を解くための階層的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-12T05:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。