論文の概要: Efficient Online Unlearning via Hessian-Free Recollection of Individual Data Statistics
- arxiv url: http://arxiv.org/abs/2404.01712v1
- Date: Tue, 2 Apr 2024 07:54:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 17:28:41.411815
- Title: Efficient Online Unlearning via Hessian-Free Recollection of Individual Data Statistics
- Title(参考訳): Hessian-free Recollection of individual data Statistics によるオンライン学習の効率化
- Authors: Xinbao Qiao, Meng Zhang, Ming Tang, Ermin Wei,
- Abstract要約: 機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。
近年の手法では,2次情報を含む統計データを事前計算し,保存する手法が提案されている。
ほぼ瞬時に学習できるヘッセン自由オンラインアンラーニング手法を提案する。
- 参考スコア(独自算出の注目度): 8.875278412741695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning strives to uphold the data owners' right to be forgotten by enabling models to selectively forget specific data. Recent methods suggest that one approach of data forgetting is by precomputing and storing statistics carrying second-order information to improve computational and memory efficiency. However, they rely on restrictive assumptions and the computation/storage suffer from the curse of model parameter dimensionality, making it challenging to apply to most deep neural networks. In this work, we propose a Hessian-free online unlearning method. We propose to maintain a statistical vector for each data point, computed through affine stochastic recursion approximation of the difference between retrained and learned models. Our proposed algorithm achieves near-instantaneous online unlearning as it only requires a vector addition operation. Based on the strategy that recollecting statistics for forgetting data, the proposed method significantly reduces the unlearning runtime. Experimental studies demonstrate that the proposed scheme surpasses existing results by orders of magnitude in terms of time and memory costs, while also enhancing accuracy.
- Abstract(参考訳): 機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。
近年の手法では,2次情報を含む統計データを事前計算・保存することで,計算効率とメモリ効率を向上させる方法が提案されている。
しかし、それらは制限的な仮定に依存しており、計算/記憶はモデルパラメータの次元性の呪いに苦しむため、ほとんどのディープニューラルネットワークに適用することは困難である。
本研究では,Hessian-free online unlearning法を提案する。
本稿では,再学習モデルと学習モデルの違いの確率的再帰近似を用いて計算した各データ点に対する統計的ベクトルを維持することを提案する。
提案アルゴリズムは,ベクトル加算操作のみを必要とするため,ほぼ瞬時にオンラインアンラーニングを実現する。
データを忘れる統計を再現する戦略に基づいて,提案手法は未学習のランタイムを大幅に削減する。
実験により,提案手法は時間とメモリコストの面で,既存の結果を桁違いに上回り,精度も向上することを示した。
関連論文リスト
- Online Tensor Inference [0.0]
従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。
既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。
本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
論文 参考訳(メタデータ) (2023-12-28T16:37:48Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Random Relabeling for Efficient Machine Unlearning [8.871042314510788]
個人が個人データと関連するデータプライバシ規則を撤回する権利は、機械学習に大きな課題をもたらす。
本研究では,逐次データ削除要求を効率的に処理するためのランダムな学習手法を提案する。
確率分布の類似性に基づく制約の少ない除去証明法も提案する。
論文 参考訳(メタデータ) (2023-05-21T02:37:26Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳(メタデータ) (2023-01-27T07:53:50Z) - Machine Unlearning Method Based On Projection Residual [23.24026891609028]
本稿ではニュートン法に基づく投射残差法を採用する。
主な目的は、線形回帰モデルとニューラルネットワークモデルという文脈で機械学習タスクを実装することである。
実験により, この手法は, モデル再学習に近いデータ削除において, より徹底的な手法であることが確認された。
論文 参考訳(メタデータ) (2022-09-30T07:29:55Z) - Algorithms that Approximate Data Removal: New Results and Limitations [2.6905021039717987]
本研究では,経験的リスク最小化を用いて学習した機械学習モデルからユーザデータを削除することの問題点について検討する。
計算とメモリ効率を両立させるオンラインアンラーニングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-09-25T17:20:33Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳(メタデータ) (2022-07-28T02:01:31Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳(メタデータ) (2021-08-26T14:01:04Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。