Fugu-MT 論文翻訳(概要): DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks

論文の概要: DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2105.06209v1
Date: Thu, 13 May 2021 12:02:04 GMT
ステータス: 処理完了
システム内更新日: 2021-05-14 14:04:17.858413
Title: DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks
Title（参考訳）: deepobliviate:ディープニューラルネットワークにおけるデータ残量メモリ消去のための強力な魅力
Authors: Yingzhe He, Guozhu Meng, Kai Chen, Jinwen He, Xingbo Hu
Abstract要約: DeepObliviateと呼ばれるアプローチを提案し、マシンアンラーニングを効率的に実装します。本手法は,中間モデルをハードディスク上に格納することで,元のトレーニングプロセスを改善する。ゼロから再トレーニングする方法と比較して、99.0%、95.0%、91.9%、96.7%、74.1%の精度と66.7$times$、75.0$times$、33.3$times$、29.4$times$、13.7$times$ speedupsが得られる。
参考スコア（独自算出の注目度）: 7.687838702806964
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine unlearning has great significance in guaranteeing model security and protecting user privacy. Additionally, many legal provisions clearly stipulate that users have the right to demand model providers to delete their own data from training set, that is, the right to be forgotten. The naive way of unlearning data is to retrain the model without it from scratch, which becomes extremely time and resource consuming at the modern scale of deep neural networks. Other unlearning approaches by refactoring model or training data struggle to gain a balance between overhead and model usability. In this paper, we propose an approach, dubbed as DeepObliviate, to implement machine unlearning efficiently, without modifying the normal training mode. Our approach improves the original training process by storing intermediate models on the hard disk. Given a data point to unlearn, we first quantify its temporal residual memory left in stored models. The influenced models will be retrained and we decide when to terminate the retraining based on the trend of residual memory on-the-fly. Last, we stitch an unlearned model by combining the retrained models and uninfluenced models. We extensively evaluate our approach on five datasets and deep learning models. Compared to the method of retraining from scratch, our approach can achieve 99.0%, 95.0%, 91.9%, 96.7%, 74.1% accuracy rates and 66.7$\times$, 75.0$\times$, 33.3$\times$, 29.4$\times$, 13.7$\times$ speedups on the MNIST, SVHN, CIFAR-10, Purchase, and ImageNet datasets, respectively. Compared to the state-of-the-art unlearning approach, we improve 5.8% accuracy, 32.5$\times$ prediction speedup, and reach a comparable retrain speedup under identical settings on average on these datasets. Additionally, DeepObliviate can also pass the backdoor-based unlearning verification.
Abstract（参考訳）: 機械学習はモデルのセキュリティを保証し、ユーザのプライバシを保護する上で非常に重要である。さらに、多くの法的条項は、ユーザがモデルプロバイダに対して、トレーニングセットから自身のデータを削除する権利、すなわち忘れられる権利を要求できることを明確に規定している。非学習データの単純な方法は、スクラッチからモデルを再トレーニングすることであり、現代のディープニューラルネットワークの規模で非常に時間とリソースを消費するようになる。モデルやトレーニングデータのリファクタリングによる他のアンラーニングアプローチは、オーバーヘッドとモデルのユーザビリティのバランスを取るのに苦労している。本稿では,通常の学習モードを変更することなく,機械学習を効率的に実装する手法であるdeepobliviateを提案する。本手法は,中間モデルをハードディスク上に格納することで,元のトレーニングプロセスを改善する。学習すべきデータポイントが与えられたら、まず、記憶されたモデルに残っている時間的残差メモリを定量化する。影響したモデルを再トレーニングし、残メモリのオンザフライ傾向に基づいて再トレーニングをいつ終了するかを決定する。最後に、再トレーニングされたモデルと影響のないモデルを組み合わせて、未学習のモデルを縫い合わせる。 5つのデータセットとディープラーニングモデルにアプローチを幅広く評価する。スクラッチから再トレーニングする方法と比較して、我々の手法は99.0%、95.0%、91.9%、96.7%、74.1%の精度、66.7$\times$、75.0$\times$、33.3$\times$、29.4$\times$、13.7$\times$、MNIST、SVHN、CIFAR-10、Purchase、ImageNetデータセットでそれぞれスピードアップできる。最先端の未学習アプローチと比較して、精度は5.8%、予測速度は32.5$\times$で、これらのデータセットで平均して同じ設定で同等のリトレーニングスピードアップに達する。さらにDeepObliviateは、バックドアベースの未学習検証をパスすることもできる。

関連論文リスト

Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
論文参考訳（メタデータ） (2024-11-13T08:56:35Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Machine Unlearning Methodology base on Stochastic Teacher Network [33.763901254862766]
「忘れられる権利」は、データ所有者に、モデルトレーニングに使用したデータを積極的に取り出す権利を与える。既存の機械学習手法は、ディープラーニングモデルから知識を素早く取り除くのに効果がないことが判明した。本稿では,ネットワークを教師として利用して,忘れられたデータによる影響の軽減を図ることを提案する。
論文参考訳（メタデータ） (2023-08-28T06:05:23Z)
AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文参考訳（メタデータ） (2023-04-07T08:50:18Z)
Boundary Unlearning [5.132489421775161]
我々は、訓練された機械学習モデルからクラス全体を解放する、迅速かつ効果的な方法である境界アンラーニングを提案する。画像分類タスクと顔認識タスクにおいて境界アンラーニングを広範囲に評価し,それぞれ17タイムと19タイムの速さで評価した。
論文参考訳（メタデータ） (2023-03-21T03:33:18Z)
Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文参考訳（メタデータ） (2023-03-18T16:45:54Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文参考訳（メタデータ） (2021-08-26T04:42:24Z)
Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文参考訳（メタデータ） (2020-08-28T04:29:54Z)
Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文参考訳（メタデータ） (2020-07-09T09:06:31Z)
Neural Network Retraining for Model Serving [32.857847595096025]
我々は、推論における新しいデータの継続的な流れに対応するために、ニューラルネットワークモデルの漸進的(再)トレーニングを提案する。破滅的な再トレーニングと効率的な再トレーニングの2つの課題に対処する。
論文参考訳（メタデータ） (2020-04-29T13:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。