論文の概要: The Privacy Onion Effect: Memorization is Relative

• arxiv url: http://arxiv.org/abs/2206.10469v2
• Date: Wed, 22 Jun 2022 16:51:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 11:59:22.293380
• Title: The Privacy Onion Effect: Memorization is Relative
• Title（参考訳）: プライバシーオニオン効果:記憶力は相対的
• Authors: Nicholas Carlini, Matthew Jagielski, Chiyuan Zhang, Nicolas Papernot, Andreas Terzis, Florian Tramer
• Abstract要約: もっとも脆弱な外接点の"層"を取り除くことで、前もって安全だった点の新たな層を同じ攻撃に晒す。 これは、機械学習のようなプライバシー強化技術が、他のユーザーのプライバシーに悪影響を及ぼす可能性を示唆している。
• 参考スコア（独自算出の注目度）: 76.46529413546725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models trained on private datasets have been shown to leak their private data. While recent work has found that the average data point is rarely leaked, the outlier samples are frequently subject to memorization and, consequently, privacy leakage. We demonstrate and analyse an Onion Effect of memorization: removing the "layer" of outlier points that are most vulnerable to a privacy attack exposes a new layer of previously-safe points to the same attack. We perform several experiments to study this effect, and understand why it occurs. The existence of this effect has various consequences. For example, it suggests that proposals to defend against memorization without training with rigorous privacy guarantees are unlikely to be effective. Further, it suggests that privacy-enhancing technologies such as machine unlearning could actually harm the privacy of other users.
• Abstract（参考訳）: プライベートデータセットでトレーニングされた機械学習モデルは、プライベートデータを漏洩することが示されている。 最近の研究によると、平均的なデータポイントがリークされることはほとんどないが、外れ値のサンプルはしばしば暗記され、結果としてプライバシーが漏洩する。 プライバシ攻撃に最も脆弱なインタラヤポイントの"レイヤ"を削除することで、前もって安全だったポイントの新たなレイヤを同じ攻撃に公開する。 この効果を研究するためにいくつかの実験を行い、なぜそれが起こるのかを理解する。 この効果の存在は様々な結果をもたらす。 例えば、厳格なプライバシー保証のトレーニングを伴わずに暗記を擁護する提案は効果が低いことを示唆している。 さらに、機械学習のようなプライバシー向上技術が、他のユーザーのプライバシーを損なう可能性があることも示唆している。

関連論文リスト

• FT-PrivacyScore: Personalized Privacy Scoring Service for Machine Learning Participation [4.772368796656325]
  実際には、制御されたデータアクセスは、多くの産業や研究環境でデータプライバシを保護する主要な方法である。 我々は,FT-PrivacyScoreのプロトタイプを開発し,モデル微調整作業に参加する際のプライバシーリスクを効率よく定量的に推定できることを実証した。
  論文  参考訳（メタデータ） (2024-10-30T02:41:26Z)
• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Students Parrot Their Teachers: Membership Inference on Model Distillation [54.392069096234074]
  知識蒸留によるプライバシを,教師と学生のトレーニングセットの両方で研究する。 私たちの攻撃は、生徒セットと教師セットが類似している場合、または攻撃者が教師セットを毒できる場合、最強です。
  論文  参考訳（メタデータ） (2023-03-06T19:16:23Z)
• Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
  大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。 公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
  論文  参考訳（メタデータ） (2022-12-13T10:41:12Z)
• On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
  我々は,記憶化という新たな視点からプライバシを調査することを提案する。 記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。 一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
  論文  参考訳（メタデータ） (2022-08-17T13:02:17Z)
• Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
  トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。 私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。 私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
  論文  参考訳（メタデータ） (2022-03-31T18:06:28Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)
• Security and Privacy Preserving Deep Learning [2.322461721824713]
  ディープラーニングに必要な膨大なデータ収集は、明らかにプライバシーの問題を提示している。 写真や音声録音などの、個人的かつ高感度なデータは、収集する企業によって無期限に保持される。 深層ニューラルネットワークは、トレーニングデータに関する情報を記憶するさまざまな推論攻撃の影響を受けやすい。
  論文  参考訳（メタデータ） (2020-06-23T01:53:46Z)
• Learning With Differential Privacy [3.618133010429131]
  異なるプライバシーは、漏洩に対する適切な保護を約束して救助にやってくる。 データの収集時にランダムな応答技術を使用し、より優れたユーティリティで強力なプライバシを保証します。
  論文  参考訳（メタデータ） (2020-06-10T02:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。