論文の概要: On the Privacy Effect of Data Enhancement via the Lens of Memorization

• arxiv url: http://arxiv.org/abs/2208.08270v3
• Date: Wed, 20 Mar 2024 14:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 23:26:53.509592
• Title: On the Privacy Effect of Data Enhancement via the Lens of Memorization
• Title（参考訳）: 記憶のレンズによるデータ強化のプライバシー効果について
• Authors: Xiao Li, Qiongxiu Li, Zhanhao Hu, Xiaolin Hu,
• Abstract要約: 我々は,記憶化という新たな視点からプライバシを調査することを提案する。 記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。 一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
• 参考スコア（独自算出の注目度）: 20.63044895680223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning poses severe privacy concerns as it has been shown that the learned models can reveal sensitive information about their training data. Many works have investigated the effect of widely adopted data augmentation and adversarial training techniques, termed data enhancement in the paper, on the privacy leakage of machine learning models. Such privacy effects are often measured by membership inference attacks (MIAs), which aim to identify whether a particular example belongs to the training set or not. We propose to investigate privacy from a new perspective called memorization. Through the lens of memorization, we find that previously deployed MIAs produce misleading results as they are less likely to identify samples with higher privacy risks as members compared to samples with low privacy risks. To solve this problem, we deploy a recent attack that can capture individual samples' memorization degrees for evaluation. Through extensive experiments, we unveil several findings about the connections between three essential properties of machine learning models, including privacy, generalization gap, and adversarial robustness. We demonstrate that the generalization gap and privacy leakage are less correlated than those of the previous results. Moreover, there is not necessarily a trade-off between adversarial robustness and privacy as stronger adversarial robustness does not make the model more susceptible to privacy attacks.
• Abstract（参考訳）: 機械学習は、学習したモデルがトレーニングデータに関する機密情報を明らかにできることが示されているため、厳しいプライバシー上の懸念を生じさせる。 多くの研究が、機械学習モデルのプライバシー漏洩に対するデータ強化と呼ばれる、広く採用されているデータ強化と敵対的トレーニング技術の効果を調査してきた。 このようなプライバシー効果は、特定のサンプルがトレーニングセットに属しているかどうかを特定することを目的とした、メンバーシップ推論攻撃(MIAs)によってしばしば測定される。 我々は,記憶化という新たな視点からプライバシを調査することを提案する。 記憶のレンズを通して、以前デプロイされたMIAは、プライバシーリスクの低いサンプルに比べて、より高いプライバシーリスクのサンプルをメンバーとして識別する可能性が低いため、誤解を招く結果をもたらすことがわかった。 この問題を解決するために,個々のサンプルの記憶度をキャプチャして評価する最近の攻撃を展開した。 広範な実験を通じて、プライバシ、一般化ギャップ、対向ロバスト性など、機械学習モデルの本質的な3つの性質の関連性に関するいくつかの知見を明らかにした。 一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。 さらに、敵対的堅牢性とプライバシとの間には必ずしもトレードオフがあるわけではない。

関連論文リスト

• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• $\alpha$-Mutual Information: A Tunable Privacy Measure for Privacy Protection in Data Sharing [4.475091558538915]
  本稿では, 有基の$alpha$-Mutual Informationを調整可能なプライバシ尺度として採用する。 我々は、プライバシ保護を提供するためにオリジナルのデータを操作するための一般的な歪みに基づくメカニズムを定式化する。
  論文  参考訳（メタデータ） (2023-10-27T16:26:14Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Students Parrot Their Teachers: Membership Inference on Model Distillation [54.392069096234074]
  知識蒸留によるプライバシを,教師と学生のトレーニングセットの両方で研究する。 私たちの攻撃は、生徒セットと教師セットが類似している場合、または攻撃者が教師セットを毒できる場合、最強です。
  論文  参考訳（メタデータ） (2023-03-06T19:16:23Z)
• The Privacy Onion Effect: Memorization is Relative [76.46529413546725]
  もっとも脆弱な外接点の"層"を取り除くことで、前もって安全だった点の新たな層を同じ攻撃に晒す。 これは、機械学習のようなプライバシー強化技術が、他のユーザーのプライバシーに悪影響を及ぼす可能性を示唆している。
  論文  参考訳（メタデータ） (2022-06-21T15:25:56Z)
• Quantifying and Mitigating Privacy Risks of Contrastive Learning [4.909548818641602]
  我々は、会員推定と属性推論のレンズを通して、コントラスト学習の最初のプライバシ分析を行う。 その結果,コントラストモデルではメンバシップ推論攻撃に弱いが,教師付きモデルに比べて属性推論攻撃に弱いことが示唆された。 この状況を改善するため,プライバシ保護型コントラスト学習機構であるTalosを提案する。
  論文  参考訳（メタデータ） (2021-02-08T11:38:11Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)
• Systematic Evaluation of Privacy Risks of Machine Learning Models [41.017707772150835]
  メンバーシップ推論攻撃に対する事前の取り組みは、プライバシーリスクを著しく過小評価する可能性があることを示す。 まず、既存の非ニューラルネットワークベースの推論攻撃を改善することで、メンバーシップ推論のプライバシリスクをベンチマークする。 次に、プライバシリスクスコアと呼ばれる新しい指標を定式化し、導出することで、詳細なプライバシ分析のための新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2020-03-24T00:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。