論文の概要: Layer Attack Unlearning: Fast and Accurate Machine Unlearning via Layer
Level Attack and Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2312.16823v1
- Date: Thu, 28 Dec 2023 04:38:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 17:15:27.130340
- Title: Layer Attack Unlearning: Fast and Accurate Machine Unlearning via Layer
Level Attack and Knowledge Distillation
- Title（参考訳）: 層レベルの攻撃と知識蒸留による高速かつ高精度な機械学習
- Authors: Hyunjune Kim, Sangyong Lee, Simon S. Woo
- Abstract要約: 本稿では,階層攻撃アンラーニング(Layer attack unlearning)と呼ばれる,高速で斬新な機械学習パラダイムを提案する。
そこで本研究では, 試料を効率よく検出する部分PGDアルゴリズムを提案する。
また,教師から意思決定境界を確実に学習するために知識蒸留(KD)も活用する。
- 参考スコア（独自算出の注目度）: 21.587358050012032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, serious concerns have been raised about the privacy issues related
to training datasets in machine learning algorithms when including personal
data. Various regulations in different countries, including the GDPR grant
individuals to have personal data erased, known as 'the right to be forgotten'
or 'the right to erasure'. However, there has been less research on effectively
and practically deleting the requested personal data from the training set
while not jeopardizing the overall machine learning performance. In this work,
we propose a fast and novel machine unlearning paradigm at the layer level
called layer attack unlearning, which is highly accurate and fast compared to
existing machine unlearning algorithms. We introduce the Partial-PGD algorithm
to locate the samples to forget efficiently. In addition, we only use the last
layer of the model inspired by the Forward-Forward algorithm for unlearning
process. Lastly, we use Knowledge Distillation (KD) to reliably learn the
decision boundaries from the teacher using soft label information to improve
accuracy performance. We conducted extensive experiments with SOTA machine
unlearning models and demonstrated the effectiveness of our approach for
accuracy and end-to-end unlearning performance.
- Abstract（参考訳）: 近年、個人データを含む機械学習アルゴリズムにおけるデータセットのトレーニングに関するプライバシー問題に深刻な懸念が持ち上がっている。
GDPRを含む各国の様々な規制は、個人に対して「忘れられる権利」または「消し去る権利」と呼ばれる個人情報を消去することを許可している。
しかし、機械学習全体のパフォーマンスを損なうことなく、要求された個人データをトレーニングセットから効果的かつ効果的に削除する研究は少ない。
本研究では,階層攻撃アンラーニング(Layer attack unlearning)と呼ばれる,階層レベルでの高速かつ斬新な機械学習パラダイムを提案する。
そこで本研究では, 効率よく試料の発見を行う部分PGDアルゴリズムを提案する。
さらに,前向きアルゴリズムにインスパイアされたモデルの最後の層のみをアンラーニングプロセスに使用する。
最後に、知識蒸留(KD)を用いて、ソフトラベル情報を用いて教師の意思決定境界を確実に学習し、精度を向上させる。
我々は,SOTAマシンアンラーニングモデルを用いた広範囲な実験を行い,その精度とエンドツーエンドアンラーニング性能に対するアプローチの有効性を実証した。
関連論文リスト
- Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳（メタデータ） (2024-04-14T05:02:00Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳（メタデータ） (2024-03-23T09:26:15Z) - Efficient Knowledge Deletion from Trained Models through Layer-wise
Partial Machine Unlearning [2.3496568239538083]
本稿では,機械学習アルゴリズムの新たなクラスを紹介する。
第1の方法は、アンネシアック・アンラーニングであり、アンネシアック・アンラーニングとレイヤーワイズ・プルーニングの統合である。
第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化する。
論文 参考訳（メタデータ） (2024-03-12T12:49:47Z) - Machine unlearning through fine-grained model parameters perturbation [26.653596302257057]
そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。
また,機械学習の有効性を評価する上での課題にも取り組む。
論文 参考訳（メタデータ） (2024-01-09T07:14:45Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:35:59Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳（メタデータ） (2023-09-13T17:55:11Z) - Generative Adversarial Networks Unlearning [13.342749941357152]
機械学習は、訓練された機械学習モデルからトレーニングデータを消去するソリューションとして登場した。
GAN(Generative Adversarial Networks)の研究は、ジェネレータと識別器を含む独自のアーキテクチャによって制限されている。
本稿では,GANモデルにおける項目学習とクラス学習の両方を対象としたケースドアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-19T02:21:21Z) - Random Relabeling for Efficient Machine Unlearning [8.871042314510788]
個人が個人データと関連するデータプライバシ規則を撤回する権利は、機械学習に大きな課題をもたらす。
本研究では,逐次データ削除要求を効率的に処理するためのランダムな学習手法を提案する。
確率分布の類似性に基づく制約の少ない除去証明法も提案する。
論文 参考訳（メタデータ） (2023-05-21T02:37:26Z) - Forget Unlearning: Towards True Data-Deletion in Machine Learning [18.656957502454592]
アンラーニングはデータ削除と同等ではなく、「忘れられる権利」を保証していないことを示す。
本稿では,オンライン環境での精度,計算効率,セキュアなデータ削除機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-17T10:06:11Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳（メタデータ） (2021-04-06T22:53:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。