論文の概要: Inexact Unlearning Needs More Careful Evaluations to Avoid a False Sense of Privacy

• arxiv url: http://arxiv.org/abs/2403.01218v2
• Date: Wed, 15 May 2024 15:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 15:45:06.348759
• Title: Inexact Unlearning Needs More Careful Evaluations to Avoid a False Sense of Privacy
• Title（参考訳）: 不正確なアンラーニングは、プライバシの悪用を避けるために、より慎重な評価を必要とする
• Authors: Jamie Hayes, Ilia Shumailov, Eleni Triantafillou, Amr Khalifa, Nicolas Papernot,
• Abstract要約: 会員推論攻撃(MIA)の未学習環境への適応について論じる。 未学習文学において一般的に用いられるU-MIAは、既存の未学習技術が視覚モデルと言語モデルの両方で持つプライバシー保護を過大評価していることを示す。
• 参考スコア（独自算出の注目度）: 45.413801663923564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The high cost of model training makes it increasingly desirable to develop techniques for unlearning. These techniques seek to remove the influence of a training example without having to retrain the model from scratch. Intuitively, once a model has unlearned, an adversary that interacts with the model should no longer be able to tell whether the unlearned example was included in the model's training set or not. In the privacy literature, this is known as membership inference. In this work, we discuss adaptations of Membership Inference Attacks (MIAs) to the setting of unlearning (leading to their ``U-MIA'' counterparts). We propose a categorization of existing U-MIAs into ``population U-MIAs'', where the same attacker is instantiated for all examples, and ``per-example U-MIAs'', where a dedicated attacker is instantiated for each example. We show that the latter category, wherein the attacker tailors its membership prediction to each example under attack, is significantly stronger. Indeed, our results show that the commonly used U-MIAs in the unlearning literature overestimate the privacy protection afforded by existing unlearning techniques on both vision and language models. Our investigation reveals a large variance in the vulnerability of different examples to per-example U-MIAs. In fact, several unlearning algorithms lead to a reduced vulnerability for some, but not all, examples that we wish to unlearn, at the expense of increasing it for other examples. Notably, we find that the privacy protection for the remaining training examples may worsen as a consequence of unlearning. We also discuss the fundamental difficulty of equally protecting all examples using existing unlearning schemes, due to the different rates at which examples are unlearned. We demonstrate that naive attempts at tailoring unlearning stopping criteria to different examples fail to alleviate these issues.
• Abstract（参考訳）: モデルトレーニングのコストが高いため、アンラーニングのテクニックを開発することがますます望ましい。 これらのテクニックは、モデルをスクラッチから再トレーニングすることなく、トレーニング例の影響を取り除くことを目指している。 直感的には、モデルが学習不能になったら、モデルと対話する敵は、学習されていないサンプルがモデルのトレーニングセットに含まれているかどうかを判断できなくなる。 プライバシーに関する文献では、これはメンバーシップ推論として知られている。 本研究では,メンバーシップ推論攻撃(MIA)の非学習環境への適応について論じる。 本稿では,既存のU-MIAsを,すべての例で同一の攻撃者がインスタンス化される 'population U-MIAs'' と,各例で専用の攻撃者がインスタンス化される '`per-example U-MIAs'' に分類する。 攻撃対象の各事例に対して,攻撃対象のメンバシップ予測を調整した後者のカテゴリは,極めて強いことを示す。 実際,本研究の結果から,未学習文学におけるU-MIAは,視覚モデルと言語モデルの両方において,既存の未学習技術がもたらすプライバシー保護を過大評価していることがわかった。 調査の結果,U-MIAのサンプルごとの脆弱性は多岐にわたることが明らかとなった。 実際、いくつかのアンラーニングアルゴリズムは、他の例のためにそれを増やすことを犠牲にして、学びたいと願うすべての例に対して、脆弱性を減らします。 特に、未学習の結果として、残りのトレーニング例に対するプライバシ保護が悪化する可能性があることが分かりました。 また、既存の未学習スキームを用いて全てのサンプルを平等に保護することの難しさについても論じる。 異なる事例に対する未学習の停止基準を調整しようとするナイーブな試みは、これらの問題を緩和することができないことを実証する。

関連論文リスト

• Better Membership Inference Privacy Measurement through Discrepancy [25.48677069802298]
  本稿では,新たな経験的プライバシ指標を提案する。 我々は,この指標が複数のモデルのトレーニングを伴わず,大規模なイメージネット分類モデルに適用可能であることを示し,より最新で洗練されたトレーニングレシピでトレーニングされたモデルの既存の指標よりも有利であることを示した。
  論文  参考訳（メタデータ） (2024-05-24T01:33:22Z)
• Detection and Defense of Unlearnable Examples [13.381207783432428]
  本研究では,特定の有毒データセットの線形分離性に関する理論的結果と簡易なネットワークベース検出手法を提案する。 本稿では, 単純なネットワークが生成する逆方向の雑音に結合したデータ拡張を用いて検出性を劣化させる手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T12:59:20Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Effective Targeted Attacks for Adversarial Self-Supervised Learning [58.14233572578723]
  ラベル情報を持たないモデルにおいて堅牢性を達成する手段として、教師なしの敵訓練(AT)が強調されている。 本稿では,敵のSSLフレームワークを効果的に生成するために,敵の攻撃を標的とした新たな正のマイニングを提案する。 提案手法は,非コントラスト型SSLフレームワークに適用した場合のロバストネスの大幅な向上と,コントラスト型SSLフレームワークによるロバストネスの向上を示す。
  論文  参考訳（メタデータ） (2022-10-19T11:43:39Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Measuring Forgetting of Memorized Training Examples [80.9188503645436]
  機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。 特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。 我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
  論文  参考訳（メタデータ） (2022-06-30T20:48:26Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• Investigating Membership Inference Attacks under Data Dependencies [26.70764798408236]
  プライバシーに敏感なデータに基づく機械学習モデルのトレーニングが、プライバシーに深刻な影響を及ぼす可能性のある新たな攻撃の扉を開いた。 そのような攻撃の1つは、メンバーシップ推論攻撃 (MIA) であり、特定のデータポイントがモデルをトレーニングするために使用されたかどうかを公開する。 我々は、訓練セットのすべてのメンバーと非メンバーが独立して同一に分散しているという制限的な仮定の下で、防衛を評価した。
  論文  参考訳（メタデータ） (2020-10-23T00:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。