論文の概要: Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection
- arxiv url: http://arxiv.org/abs/2312.04095v1
- Date: Thu, 7 Dec 2023 07:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 15:54:17.708503
- Title: Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection
- Title(参考訳): 深層ニューラルネットワークの学習 - 勾配投影による非学習干渉の最小化
- Authors: Tuan Hoang and Santu Rana and Sunil Gupta and Svetha Venkatesh
- Abstract要約: 最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
- 参考スコア(独自算出の注目度): 56.292071534857946
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Recent data-privacy laws have sparked interest in machine unlearning, which
involves removing the effect of specific training samples from a learnt model
as if they were never present in the original training dataset. The challenge
of machine unlearning is to discard information about the ``forget'' data in
the learnt model without altering the knowledge about the remaining dataset and
to do so more efficiently than the naive retraining approach. To achieve this,
we adopt a projected-gradient based learning method, named as
Projected-Gradient Unlearning (PGU), in which the model takes steps in the
orthogonal direction to the gradient subspaces deemed unimportant for the
retaining dataset, so as to its knowledge is preserved. By utilizing Stochastic
Gradient Descent (SGD) to update the model weights, our method can efficiently
scale to any model and dataset size. We provide empirically evidence to
demonstrate that our unlearning method can produce models that behave similar
to models retrained from scratch across various metrics even when the training
dataset is no longer accessible. Our code is available at
https://github.com/hnanhtuan/projected_gradient_unlearning.
- Abstract(参考訳): 最近のデータプライバシ法は、学習モデルから学習データセットに存在しないかのように特定のトレーニングサンプルの影響を取り除くことを含む、機械学習への関心を喚起している。
機械学習の課題は、残りのデータセットに関する知識を変更することなく、学習モデルにおける‘forget’データの情報を破棄し、ナイーブなリトレーニングアプローチよりも効率的に行うことである。
そこで本研究では,pgu (projected-gradient unlearning) と名づけた投影勾配学習手法を採用し,データ保持に重要でない勾配部分空間に対して直交方向のステップを踏むことにより,その知識を保存できる。
モデル重みを更新するためにSGD(Stochastic Gradient Descent)を用いることで,本手法は任意のモデルやデータセットサイズに効率的にスケールすることができる。
トレーニングデータセットがもはやアクセスできない場合でも、さまざまなメトリクスでスクラッチから再トレーニングされたモデルと同じように振る舞うモデルが生成できることを実証するために、実証的な証拠を提供します。
私たちのコードはhttps://github.com/hnanhtuan/projected_gradient_unlearningで利用可能です。
関連論文リスト
- Unlearning Reveals the Influential Training Data of Language Models [37.02159903174132]
本稿では、トレーニングデータセットの影響をトレーニングモデルから学習することによって推定するUnTracを提案する。
我々は,本手法が有毒,偏り,不合理なコンテンツの生成に対する事前学習データセットの影響を評価できるかどうかを実証的に検討する。
論文 参考訳(メタデータ) (2024-01-26T23:17:31Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-31T03:35:59Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳(メタデータ) (2023-03-24T17:56:22Z) - Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural
Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。
LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。
トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文 参考訳(メタデータ) (2023-03-18T16:45:54Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳(メタデータ) (2022-12-07T15:32:22Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳(メタデータ) (2022-10-15T05:00:20Z) - Machine Unlearning Method Based On Projection Residual [23.24026891609028]
本稿ではニュートン法に基づく投射残差法を採用する。
主な目的は、線形回帰モデルとニューラルネットワークモデルという文脈で機械学習タスクを実装することである。
実験により, この手法は, モデル再学習に近いデータ削除において, より徹底的な手法であることが確認された。
論文 参考訳(メタデータ) (2022-09-30T07:29:55Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳(メタデータ) (2020-07-09T09:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。