論文の概要: A Blessing of Dimensionality in Membership Inference through Regularization

• arxiv url: http://arxiv.org/abs/2205.14055v2
• Date: Fri, 14 Apr 2023 02:21:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 17:12:34.032104
• Title: A Blessing of Dimensionality in Membership Inference through Regularization
• Title（参考訳）: 正規化によるメンバーシップ推論における次元の祝福
• Authors: Jasper Tan, Daniel LeJeune, Blake Mason, Hamid Javadi, Richard G. Baraniuk
• Abstract要約: モデルのパラメータ数がいかにプライバシーとユーティリティのトレードオフを引き起こすかを示す。 次に、適切な一般化正規化と組み合わせることで、モデルのパラメータの数を増やすことで、そのプライバシと性能の両方を実際に増加させることができることを示す。
• 参考スコア（独自算出の注目度）: 29.08230123469755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is overparameterization a privacy liability? In this work, we study the effect that the number of parameters has on a classifier's vulnerability to membership inference attacks. We first demonstrate how the number of parameters of a model can induce a privacy--utility trade-off: increasing the number of parameters generally improves generalization performance at the expense of lower privacy. However, remarkably, we then show that if coupled with proper regularization, increasing the number of parameters of a model can actually simultaneously increase both its privacy and performance, thereby eliminating the privacy--utility trade-off. Theoretically, we demonstrate this curious phenomenon for logistic regression with ridge regularization in a bi-level feature ensemble setting. Pursuant to our theoretical exploration, we develop a novel leave-one-out analysis tool to precisely characterize the vulnerability of a linear classifier to the optimal membership inference attack. We empirically exhibit this "blessing of dimensionality" for neural networks on a variety of tasks using early stopping as the regularizer.
• Abstract（参考訳）: オーバーパラメータ化はプライバシ責任か? 本研究では,メンバシップ推論攻撃に対する分類器の脆弱性に対するパラメータ数の影響について検討する。 まず,モデルのパラメータ数によってプライバシ-有効性トレードオフが引き起こされることを示す。パラメータ数の増加は,プライバシの低下を犠牲にして一般に一般化性能を向上させる。 しかし、顕著な結果として、適切な正規化と組み合わせることで、モデルのパラメータの数を増やすことで、そのプライバシとパフォーマンスの両方を同時に増加させることで、プライバシとユーティリティのトレードオフを排除できることが示される。 理論的には、リッジ正規化を伴うロジスティック回帰に対するこの奇妙な現象を双レベル特徴アンサンブルで示す。 理論的検討の結果,線形分類器の脆弱性を最適メンバーシップ推論攻撃に正確に特徴付けるための,新たなLeft-one-out分析ツールを開発した。 我々は、この「次元の恵み」をニューラルネットワークに対して、早期停止を正規化子として様々なタスクで実証的に示す。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning [9.39508697970812]
  本稿では,異なるパラメータに対する適応的なペナルティを用いることで,L1正規化の簡単な修正を提案する。 PASTの背後にある重要な考え方は、プライバシーの漏洩に大きく貢献するパラメータの分散を促進することです。 PASTを使用すると、ネットワークはメンバーと非メンバーの間の損失ギャップを縮小し、プライバシー攻撃に対する強い抵抗をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T12:13:49Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Revisiting Hyperparameter Tuning with Differential Privacy [1.6425841685973384]
  我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。 我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。 追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
  論文  参考訳（メタデータ） (2022-11-03T14:42:19Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Provably tuning the ElasticNet across instances [53.0518090093538]
  我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。 我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
  論文  参考訳（メタデータ） (2022-07-20T21:22:40Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference [29.743945643424553]
  オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。 このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
  論文  参考訳（メタデータ） (2022-02-02T19:00:21Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。