論文の概要: Deletion Inference, Reconstruction, and Compliance in Machine
(Un)Learning
- arxiv url: http://arxiv.org/abs/2202.03460v1
- Date: Mon, 7 Feb 2022 19:02:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 16:21:09.292785
- Title: Deletion Inference, Reconstruction, and Compliance in Machine
(Un)Learning
- Title(参考訳): 機械(un)学習における削除推論、再構成、コンプライアンス
- Authors: Ji Gao, Sanjam Garg, Mohammad Mahmoody, Prashant Nalini Vasudevan
- Abstract要約: 機械学習モデルに対するプライバシ攻撃は、そのようなモデルをトレーニングするために使用されるデータを特定することを目的としている。
多くの機械学習メソッドが最近、機械学習をサポートするように拡張されている。
- 参考スコア(独自算出の注目度): 21.404426803200796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy attacks on machine learning models aim to identify the data that is
used to train such models. Such attacks, traditionally, are studied on static
models that are trained once and are accessible by the adversary. Motivated to
meet new legal requirements, many machine learning methods are recently
extended to support machine unlearning, i.e., updating models as if certain
examples are removed from their training sets, and meet new legal requirements.
However, privacy attacks could potentially become more devastating in this new
setting, since an attacker could now access both the original model before
deletion and the new model after the deletion. In fact, the very act of
deletion might make the deleted record more vulnerable to privacy attacks.
Inspired by cryptographic definitions and the differential privacy framework,
we formally study privacy implications of machine unlearning. We formalize
(various forms of) deletion inference and deletion reconstruction attacks, in
which the adversary aims to either identify which record is deleted or to
reconstruct (perhaps part of) the deleted records. We then present successful
deletion inference and reconstruction attacks for a variety of machine learning
models and tasks such as classification, regression, and language models.
Finally, we show that our attacks would provably be precluded if the schemes
satisfy (variants of) Deletion Compliance (Garg, Goldwasser, and Vasudevan,
Eurocrypt' 20).
- Abstract(参考訳): マシンラーニングモデルのプライバシ攻撃は、そのようなモデルのトレーニングに使用されるデータを特定することを目的としている。
このような攻撃は伝統的に、一度訓練された静的モデルで研究され、敵によってアクセス可能である。
新しい法的要件を満たすために、多くの機械学習手法が最近拡張され、トレーニングセットから特定の例が削除されたかのようにモデルを更新すること、新しい法的要件を満たす。
しかし、プライバシ攻撃は、削除前のオリジナルのモデルと削除後の新しいモデルの両方にアクセスできるようになったため、この新しい設定でさらに破壊的になる可能性がある。
実際、削除の行為は、削除されたレコードをプライバシー攻撃に弱いものにするかもしれない。
暗号定義と差分プライバシフレームワークに着想を得て,マシンラーニングのプライバシへの影響を正式に研究した。
我々は、削除されたレコードを特定するか、削除されたレコードを再構築(おそらく一部)することを目的とした、削除推測と削除復元攻撃を形式化する。
次に,様々な機械学習モデルと分類,回帰,言語モデルなどのタスクに対して,削除推論と再構成攻撃を成功させる。
最後に、スキームが削除コンプライアンス(garg, goldwasser, and vasudevan, eurocrypt' 20)を満たしている場合、我々の攻撃は確実に予測できることを示した。
関連論文リスト
- Can Sensitive Information Be Deleted From LLMs? Objectives for Defending
Against Extraction Attacks [73.53327403684676]
本稿では,モデル重みから直接センシティブな情報を削除する作業を研究するためのアタック・アンド・ディフェンスフレームワークを提案する。
モデル重み付けへの直接的編集について検討する。この手法は、削除された情報が将来的な攻撃によって抽出されないことを保証すべきである。
我々のホワイトボックスやブラックボックス攻撃は、編集されたモデルの38%から「削除された」情報を復元できるので、ROMEのような最先端のモデル編集方法でさえ、GPT-Jのようなモデルから事実情報を真に消し去るのに苦労している。
論文 参考訳(メタデータ) (2023-09-29T17:12:43Z) - Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳(メタデータ) (2023-08-02T05:54:01Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Reconstructing Training Data with Informed Adversaries [30.138217209991826]
機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか?
本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。
この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
論文 参考訳(メタデータ) (2022-01-13T09:19:25Z) - Hard to Forget: Poisoning Attacks on Certified Machine Unlearning [13.516740881682903]
我々は,データ削除の計算コストを増大させようとする攻撃者を考える。
我々は、認定された機械の未学習に対する中毒攻撃を導出し、実証的に調査する。
論文 参考訳(メタデータ) (2021-09-17T01:00:46Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。
ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
論文 参考訳(メタデータ) (2021-07-08T14:17:24Z) - Manipulating SGD with Data Ordering Attacks [23.639512087220137]
基礎となるモデルデータセットやアーキテクチャを変更する必要のない,一連のトレーニングタイムアタックを提示する。
特に、アタッカーはトレーニングバッチをリオーダーするだけでモデルの完全性と可用性を損なう可能性がある。
攻撃は、攻撃後数百エポックというモデル性能を低下させるという長期的な影響をもたらす。
論文 参考訳(メタデータ) (2021-04-19T22:17:27Z) - Amnesiac Machine Learning [15.680008735220785]
最近制定された一般データ保護規則は、欧州連合の居住者に関するデータを持つデータ保有者に影響を与えている。
モデルは、モデル反転攻撃のような情報漏洩攻撃に対して脆弱である。
我々は、モデル所有者が規制に準拠しながら、そのような攻撃から身を守ることのできる、UnlearningとAmnesiac Unlearningの2つのデータ除去方法を提案する。
論文 参考訳(メタデータ) (2020-10-21T13:14:17Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。