論文の概要: DeepClean: Machine Unlearning on the Cheap by Resetting Privacy
Sensitive Weights using the Fisher Diagonal
- arxiv url: http://arxiv.org/abs/2311.10448v1
- Date: Fri, 17 Nov 2023 11:03:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-20 14:54:28.971121
- Title: DeepClean: Machine Unlearning on the Cheap by Resetting Privacy
Sensitive Weights using the Fisher Diagonal
- Title(参考訳): DeepClean: 魚の対角線を用いたプライバシ感受性重みのリセットによるチープ上の機械学習
- Authors: Jiaeli Shi, Najah Ghalyan, Kostis Gourgoulias, John Buford, Sean Moran
- Abstract要約: 機密データやプライベートデータに基づいてトレーニングされた機械学習モデルは、その情報を不注意に記憶し、リークする可能性がある。
機械学習は、プライバシーを保護するためにモデルウェイトからそのような詳細を遡及的に取り除こうとしている。
本稿では,FIM(Fiher Information Matrix)を応用した軽量なアンラーニングアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 1.6499388997661122
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Machine learning models trained on sensitive or private data can
inadvertently memorize and leak that information. Machine unlearning seeks to
retroactively remove such details from model weights to protect privacy. We
contribute a lightweight unlearning algorithm that leverages the Fisher
Information Matrix (FIM) for selective forgetting. Prior work in this area
requires full retraining or large matrix inversions, which are computationally
expensive. Our key insight is that the diagonal elements of the FIM, which
measure the sensitivity of log-likelihood to changes in weights, contain
sufficient information for effective forgetting. Specifically, we compute the
FIM diagonal over two subsets -- the data to retain and forget -- for all
trainable weights. This diagonal representation approximates the complete FIM
while dramatically reducing computation. We then use it to selectively update
weights to maximize forgetting of the sensitive subset while minimizing impact
on the retained subset. Experiments show that our algorithm can successfully
forget any randomly selected subsets of training data across neural network
architectures. By leveraging the FIM diagonal, our approach provides an
interpretable, lightweight, and efficient solution for machine unlearning with
practical privacy benefits.
- Abstract(参考訳): 機密データやプライベートデータに基づいてトレーニングされた機械学習モデルは、その情報を不注意に記憶し、リークする。
機械学習は、プライバシーを保護するためにモデル重みからこのような詳細を遡及的に取り除こうとしている。
本稿では,FIM(Fiher Information Matrix)を応用した軽量なアンラーニングアルゴリズムを提案する。
この分野での以前の作業では、計算コストのかかる完全な再トレーニングや大きな行列逆転が必要だった。
我々の重要な洞察は、太さの変化に対するログライリフードの感度を測定するFIMの対角要素は、効果的に忘れられる十分な情報を含んでいるということである。
具体的には、トレーニング可能なすべての重量に対して、FIM対角線を2つのサブセット -- 保持および忘れるデータ -- で計算する。
この対角表現は計算量を劇的に減らしながら完全なFIMを近似する。
次に、重みを選択的に更新し、機密部分集合の忘れを最大化し、保持部分集合への影響を最小限に抑える。
実験により、ニューラルネットワークアーキテクチャ全体にわたるトレーニングデータのランダムに選択されたサブセットを、アルゴリズムが忘れてしまうことが判明した。
FIMの対角性を活用することで、我々のアプローチは、実用的なプライバシー上の利点のある機械学習のための解釈可能で軽量で効率的なソリューションを提供する。
関連論文リスト
- Loss-Free Machine Unlearning [51.34904967046097]
我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。
Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。
本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
論文 参考訳(メタデータ) (2024-02-29T16:15:34Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Deep Unlearning: Fast and Efficient Training-free Approach to Controlled
Forgetting [11.149073203271083]
本研究では,学習モデルからクラス全体あるいはクラス群を戦略的に除去する新しいクラスアンラーニングアルゴリズムを提案する。
我々は、元のモデルと比較して精度を保ったまま1.5%の$sim$1.5%の値しか持たないVision Transformerを用いて、ImageNet上でアルゴリズムの有効性を実証する。
論文 参考訳(メタデータ) (2023-12-01T18:29:08Z) - Data Augmentations in Deep Weight Spaces [89.45272760013928]
そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。
既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
論文 参考訳(メタデータ) (2023-11-15T10:43:13Z) - Leave-one-out Distinguishability in Machine Learning [25.645264450211133]
我々は、機械学習アルゴリズムの出力分布の変化を、トレーニングセットにいくつかのデータポイントを含めて定量化する新しいフレームワークを導入する。
この問題は、機械学習において**記憶*と*情報漏洩*を測定する上で鍵となる。
本手法は,トレーニングデータに関連する記憶とプライバシーのリスクに関する実証的な尺度をいかに拡張し,洗練するかを説明する。
論文 参考訳(メタデータ) (2023-09-29T15:08:28Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-08-15T11:30:45Z) - Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。
標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文 参考訳(メタデータ) (2023-06-29T14:52:04Z) - One-Shot Machine Unlearning with Mnemonic Code [5.579745503613096]
機械学習(MU)は、トレーニングされたディープラーニングモデルから望ましくないトレーニングデータを忘れることを目的としている。
単純なMUアプローチは、望ましくないデータが削除されたトレーニングデータで、モデル全体を再トレーニングすることです。
追加の訓練を必要としないワンショットMU法を提案する。
論文 参考訳(メタデータ) (2023-06-09T04:59:24Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。
そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。
提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
論文 参考訳(メタデータ) (2020-12-24T19:34:56Z) - Towards Deep Learning Models Resistant to Large Perturbations [0.0]
敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。
とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
論文 参考訳(メタデータ) (2020-03-30T12:03:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。