論文の概要: Benign Overparameterization in Membership Inference with Early Stopping

• arxiv url: http://arxiv.org/abs/2205.14055v1
• Date: Fri, 27 May 2022 15:44:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 19:30:51.514256
• Title: Benign Overparameterization in Membership Inference with Early Stopping
• Title（参考訳）: 早期停止を伴うメンバーシップ推論における異常過パラメータ化
• Authors: Jasper Tan, Daniel LeJeune, Blake Mason, Hamid Javadi, Richard G. Baraniuk
• Abstract要約: トレーニングエポックの数とパラメータがニューラルネットワークの攻撃に対する脆弱性に与える影響について検討する。 両者を共同で調整することで、プライバシーとユーティリティのトレードオフを解消できることを示す。
• 参考スコア（独自算出の注目度）: 29.08230123469755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Does a neural network's privacy have to be at odds with its accuracy? In this work, we study the effects the number of training epochs and parameters have on a neural network's vulnerability to membership inference (MI) attacks, which aim to extract potentially private information about the training data. We first demonstrate how the number of training epochs and parameters individually induce a privacy-utility trade-off: more of either improves generalization performance at the expense of lower privacy. However, remarkably, we also show that jointly tuning both can eliminate this privacy-utility trade-off. Specifically, with careful tuning of the number of training epochs, more overparameterization can increase model privacy for fixed generalization error. To better understand these phenomena theoretically, we develop a powerful new leave-one-out analysis tool to study the asymptotic behavior of linear classifiers and apply it to characterize the sample-specific loss threshold MI attack in high-dimensional logistic regression. For practitioners, we introduce a low-overhead procedure to estimate MI risk and tune the number of training epochs to guard against MI attacks.
• Abstract（参考訳）: ニューラルネットワークのプライバシは、その正確さと相反するのでしょうか? 本研究では,トレーニングデータに関する潜在的プライベート情報を抽出することを目的とした,ニューラルネットワークのMI攻撃に対する脆弱性に対して,トレーニングエポックとパラメータの数が与える影響について検討する。 まず、トレーニング期間とパラメータの数によって、プライバシ利用のトレードオフが個々に引き起こされる様子をデモします。 しかし、驚くべきことに、両社が共同で調整することで、このプライバシー利用のトレードオフを排除できることも示しています。 具体的には、トレーニング期間の数を注意深く調整することで、過剰パラメータ化が固定一般化エラーのモデルプライバシを増加させる可能性がある。 理論的にこれらの現象をよりよく理解するために,線形分類器の漸近挙動を解析し,高次元ロジスティック回帰におけるサンプル特異的損失閾値MI攻撃の特徴付けに応用する強力な新しい退行解析ツールを開発した。 実践者に対しては,MIリスクを推定し,MI攻撃を防ぐためのトレーニングエポック数を調整するための低オーバーヘッド手順を導入する。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning [9.39508697970812]
  本稿では,異なるパラメータに対する適応的なペナルティを用いることで,L1正規化の簡単な修正を提案する。 PASTの背後にある重要な考え方は、プライバシーの漏洩に大きく貢献するパラメータの分散を促進することです。 PASTを使用すると、ネットワークはメンバーと非メンバーの間の損失ギャップを縮小し、プライバシー攻撃に対する強い抵抗をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T12:13:49Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Revisiting Hyperparameter Tuning with Differential Privacy [1.6425841685973384]
  我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。 我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。 追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
  論文  参考訳（メタデータ） (2022-11-03T14:42:19Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Provably tuning the ElasticNet across instances [53.0518090093538]
  我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。 我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
  論文  参考訳（メタデータ） (2022-07-20T21:22:40Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference [29.743945643424553]
  オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。 このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
  論文  参考訳（メタデータ） (2022-02-02T19:00:21Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。