論文の概要: Deletion Inference, Reconstruction, and Compliance in Machine
(Un)Learning
- arxiv url: http://arxiv.org/abs/2202.03460v1
- Date: Mon, 7 Feb 2022 19:02:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 16:21:09.292785
- Title: Deletion Inference, Reconstruction, and Compliance in Machine
(Un)Learning
- Title（参考訳）: 機械(un)学習における削除推論、再構成、コンプライアンス
- Authors: Ji Gao, Sanjam Garg, Mohammad Mahmoody, Prashant Nalini Vasudevan
- Abstract要約: 機械学習モデルに対するプライバシ攻撃は、そのようなモデルをトレーニングするために使用されるデータを特定することを目的としている。
多くの機械学習メソッドが最近、機械学習をサポートするように拡張されている。
- 参考スコア（独自算出の注目度）: 21.404426803200796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy attacks on machine learning models aim to identify the data that is
used to train such models. Such attacks, traditionally, are studied on static
models that are trained once and are accessible by the adversary. Motivated to
meet new legal requirements, many machine learning methods are recently
extended to support machine unlearning, i.e., updating models as if certain
examples are removed from their training sets, and meet new legal requirements.
However, privacy attacks could potentially become more devastating in this new
setting, since an attacker could now access both the original model before
deletion and the new model after the deletion. In fact, the very act of
deletion might make the deleted record more vulnerable to privacy attacks.
Inspired by cryptographic definitions and the differential privacy framework,
we formally study privacy implications of machine unlearning. We formalize
(various forms of) deletion inference and deletion reconstruction attacks, in
which the adversary aims to either identify which record is deleted or to
reconstruct (perhaps part of) the deleted records. We then present successful
deletion inference and reconstruction attacks for a variety of machine learning
models and tasks such as classification, regression, and language models.
Finally, we show that our attacks would provably be precluded if the schemes
satisfy (variants of) Deletion Compliance (Garg, Goldwasser, and Vasudevan,
Eurocrypt' 20).
- Abstract（参考訳）: マシンラーニングモデルのプライバシ攻撃は、そのようなモデルのトレーニングに使用されるデータを特定することを目的としている。
このような攻撃は伝統的に、一度訓練された静的モデルで研究され、敵によってアクセス可能である。
新しい法的要件を満たすために、多くの機械学習手法が最近拡張され、トレーニングセットから特定の例が削除されたかのようにモデルを更新すること、新しい法的要件を満たす。
しかし、プライバシ攻撃は、削除前のオリジナルのモデルと削除後の新しいモデルの両方にアクセスできるようになったため、この新しい設定でさらに破壊的になる可能性がある。
実際、削除の行為は、削除されたレコードをプライバシー攻撃に弱いものにするかもしれない。
暗号定義と差分プライバシフレームワークに着想を得て,マシンラーニングのプライバシへの影響を正式に研究した。
我々は、削除されたレコードを特定するか、削除されたレコードを再構築(おそらく一部)することを目的とした、削除推測と削除復元攻撃を形式化する。
次に,様々な機械学習モデルと分類,回帰,言語モデルなどのタスクに対して,削除推論と再構成攻撃を成功させる。
最後に、スキームが削除コンプライアンス(garg, goldwasser, and vasudevan, eurocrypt' 20)を満たしている場合、我々の攻撃は確実に予測できることを示した。
関連論文リスト
- Reconstruction Attacks on Machine Unlearning: Simple Models are Vulnerable [30.22146634953896]
線形回帰モデルから削除したデータポイントに対して、ほぼ完璧な攻撃をマウントする方法を示す。
我々の研究は、個人がモデルからデータの削除を要求できる非常に単純なモデルクラスであっても、プライバシリスクが重要であることを強調している。
論文 参考訳（メタデータ） (2024-05-30T17:27:44Z) - Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning [16.809644622465086]
我々は、機械学習が未学習データの機密内容を漏洩させる範囲を理解するために、最初の調査を行う。
機械学習・アズ・ア・サービス・セッティングの下で、未学習サンプルの特徴とラベル情報を明らかにするアンラーニング・インバージョン・アタックを提案する。
実験結果から,提案攻撃は未学習データのセンシティブな情報を明らかにすることができることが示された。
論文 参考訳（メタデータ） (2024-04-04T06:37:46Z) - Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - Can Sensitive Information Be Deleted From LLMs? Objectives for Defending
Against Extraction Attacks [73.53327403684676]
本稿では,モデル重みから直接センシティブな情報を削除する作業を研究するためのアタック・アンド・ディフェンスフレームワークを提案する。
モデル重み付けへの直接的編集について検討する。この手法は、削除された情報が将来的な攻撃によって抽出されないことを保証すべきである。
我々のホワイトボックスやブラックボックス攻撃は、編集されたモデルの38%から「削除された」情報を復元できるので、ROMEのような最先端のモデル編集方法でさえ、GPT-Jのようなモデルから事実情報を真に消し去るのに苦労している。
論文 参考訳（メタデータ） (2023-09-29T17:12:43Z) - Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳（メタデータ） (2023-08-02T05:54:01Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳（メタデータ） (2022-07-12T19:34:47Z) - Reconstructing Training Data with Informed Adversaries [30.138217209991826]
機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか?
本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。
この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
論文 参考訳（メタデータ） (2022-01-13T09:19:25Z) - Hard to Forget: Poisoning Attacks on Certified Machine Unlearning [13.516740881682903]
我々は,データ削除の計算コストを増大させようとする攻撃者を考える。
我々は、認定された機械の未学習に対する中毒攻撃を導出し、実証的に調査する。
論文 参考訳（メタデータ） (2021-09-17T01:00:46Z) - SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。
ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
論文 参考訳（メタデータ） (2021-07-08T14:17:24Z) - Amnesiac Machine Learning [15.680008735220785]
最近制定された一般データ保護規則は、欧州連合の居住者に関するデータを持つデータ保有者に影響を与えている。
モデルは、モデル反転攻撃のような情報漏洩攻撃に対して脆弱である。
我々は、モデル所有者が規制に準拠しながら、そのような攻撃から身を守ることのできる、UnlearningとAmnesiac Unlearningの2つのデータ除去方法を提案する。
論文 参考訳（メタデータ） (2020-10-21T13:14:17Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳（メタデータ） (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。