論文の概要: Attack and Reset for Unlearning: Exploiting Adversarial Noise toward
Machine Unlearning through Parameter Re-initialization
- arxiv url: http://arxiv.org/abs/2401.08998v1
- Date: Wed, 17 Jan 2024 06:22:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 16:50:15.330408
- Title: Attack and Reset for Unlearning: Exploiting Adversarial Noise toward
Machine Unlearning through Parameter Re-initialization
- Title(参考訳): アンラーニングのアタックとリセット:パラメータ再初期化による機械学習への敵対的ノイズの活用
- Authors: Yoonhwa Jung and Ikhyun Cho and Shun-Hsiang Hsu and Julia Hockenmaier
- Abstract要約: 我々は、アンラーニングのためのアタック・アンド・リセット(ARU)と呼ばれる新しいアプローチを導入する。
ARUは、巧妙に製作された対向ノイズを使用してパラメータマスクを生成し、特定のパラメータを効果的にリセットし、それらを学習不能にする。
ARUは2つの顔機械学習ベンチマークデータセットにおいて、最先端の結果を上回っている。
- 参考スコア(独自算出の注目度): 3.4663802786259104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With growing concerns surrounding privacy and regulatory compliance, the
concept of machine unlearning has gained prominence, aiming to selectively
forget or erase specific learned information from a trained model. In response
to this critical need, we introduce a novel approach called Attack-and-Reset
for Unlearning (ARU). This algorithm leverages meticulously crafted adversarial
noise to generate a parameter mask, effectively resetting certain parameters
and rendering them unlearnable. ARU outperforms current state-of-the-art
results on two facial machine-unlearning benchmark datasets, MUFAC and MUCAC.
In particular, we present the steps involved in attacking and masking that
strategically filter and re-initialize network parameters biased towards the
forget set. Our work represents a significant advancement in rendering data
unexploitable to deep learning models through parameter re-initialization,
achieved by harnessing adversarial noise to craft a mask.
- Abstract(参考訳): プライバシと規制の遵守に関する懸念が高まり、機械学習の概念は有名になり、訓練されたモデルから特定の学習情報を選択的に忘れたり、消去することを目指している。
このような重要なニーズに応えて、我々はAttack-and-Reset for Unlearning (ARU)と呼ばれる新しいアプローチを導入する。
このアルゴリズムは、巧妙に製作された対向ノイズを利用してパラメータマスクを生成し、特定のパラメータを効果的にリセットし、それらを学習不能にする。
ARUは、MUFACとMUCACの2つの顔機械学習ベンチマークデータセットにおいて、最先端の結果を上回っている。
特に,ネットワークパラメータを戦略的にフィルタし再初期化する攻撃とマスキングに関するステップについて述べる。
私たちの研究は、逆雑音を利用してマスクを作ることで、パラメータの再初期化を通じてディープラーニングモデルに展開不能なデータレンダリングの大幅な進歩を示しています。
関連論文リスト
- The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳(メタデータ) (2024-03-23T09:26:15Z) - Attention-Guided Masked Autoencoders For Learning Image Representations [16.257915216763692]
Masked Autoencoders (MAE) はコンピュータビジョンタスクの教師なし事前訓練のための強力な方法として確立されている。
本稿では,注意誘導損失関数を用いて再建過程を通知する。
評価の結果,事前学習したモデルでは,バニラMAEよりも遅延表現が優れていることがわかった。
論文 参考訳(メタデータ) (2024-02-23T08:11:25Z) - Machine unlearning through fine-grained model parameters perturbation [29.1171391789129]
そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。
また,機械学習の有効性を評価する上での課題にも取り組む。
論文 参考訳(メタデータ) (2024-01-09T07:14:45Z) - Generative Adversarial Networks Unlearning [13.342749941357152]
機械学習は、訓練された機械学習モデルからトレーニングデータを消去するソリューションとして登場した。
GAN(Generative Adversarial Networks)の研究は、ジェネレータと識別器を含む独自のアーキテクチャによって制限されている。
本稿では,GANモデルにおける項目学習とクラス学習の両方を対象としたケースドアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-08-19T02:21:21Z) - Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。
我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
論文 参考訳(メタデータ) (2022-11-23T07:04:41Z) - Exploring The Role of Mean Teachers in Self-supervised Masked
Auto-Encoders [64.03000385267339]
マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。
簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。
RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
論文 参考訳(メタデータ) (2022-10-05T08:08:55Z) - SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。
300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
論文 参考訳(メタデータ) (2022-07-31T15:07:25Z) - One-shot Neural Backdoor Erasing via Adversarial Weight Masking [8.345632941376673]
Adversarial Weight Masking (AWM)は、ワンショット設定でも神経バックドアを消去できる新しい方法である。
AWMは、さまざまな利用可能なトレーニングデータセットサイズに対する他の最先端メソッドに対する浄化効果を大幅に改善することができる。
論文 参考訳(メタデータ) (2022-07-10T16:18:39Z) - Entity-Conditioned Question Generation for Robust Attention Distribution
in Neural Information Retrieval [51.53892300802014]
教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。
目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
論文 参考訳(メタデータ) (2022-04-24T22:36:48Z) - Reconstructing Training Data with Informed Adversaries [30.138217209991826]
機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか?
本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。
この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
論文 参考訳(メタデータ) (2022-01-13T09:19:25Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳(メタデータ) (2021-05-10T15:09:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。