論文の概要: DeepClean: Machine Unlearning on the Cheap by Resetting Privacy Sensitive Weights using the Fisher Diagonal

• arxiv url: http://arxiv.org/abs/2311.10448v2
• Date: Fri, 26 Apr 2024 16:29:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 17:58:08.518483
• Title: DeepClean: Machine Unlearning on the Cheap by Resetting Privacy Sensitive Weights using the Fisher Diagonal
• Title（参考訳）: DeepClean: 魚の対角線を用いたプライバシ感受性重みのリセットによるチープ上の機械学習
• Authors: Jiaeli Shi, Najah Ghalyan, Kostis Gourgoulias, John Buford, Sean Moran,
• Abstract要約: 機密データやプライベートデータに基づいてトレーニングされた機械学習モデルは、その情報を不注意に記憶し、リークする可能性がある。 機械学習は、プライバシーを保護するためにモデルウェイトからそのような詳細を遡及的に取り除こうとしている。 本稿では,FIM(Fiher Information Matrix)を応用した軽量なアンラーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 1.5379084885764847
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine learning models trained on sensitive or private data can inadvertently memorize and leak that information. Machine unlearning seeks to retroactively remove such details from model weights to protect privacy. We contribute a lightweight unlearning algorithm that leverages the Fisher Information Matrix (FIM) for selective forgetting. Prior work in this area requires full retraining or large matrix inversions, which are computationally expensive. Our key insight is that the diagonal elements of the FIM, which measure the sensitivity of log-likelihood to changes in weights, contain sufficient information for effective forgetting. Specifically, we compute the FIM diagonal over two subsets -- the data to retain and forget -- for all trainable weights. This diagonal representation approximates the complete FIM while dramatically reducing computation. We then use it to selectively update weights to maximize forgetting of the sensitive subset while minimizing impact on the retained subset. Experiments show that our algorithm can successfully forget any randomly selected subsets of training data across neural network architectures. By leveraging the FIM diagonal, our approach provides an interpretable, lightweight, and efficient solution for machine unlearning with practical privacy benefits.
• Abstract（参考訳）: 機密データやプライベートデータに基づいてトレーニングされた機械学習モデルは、その情報を不注意に記憶し、リークする可能性がある。 機械学習は、プライバシーを保護するためにモデルウェイトからそのような詳細を遡及的に取り除こうとしている。 本稿では,FIM(Fiher Information Matrix)を応用した軽量なアンラーニングアルゴリズムを提案する。 この分野での以前の作業では、計算コストのかかる完全な再トレーニングや大きな行列の逆変換が必要だった。 我々の重要な洞察は、太さの変化に対するログライリフードの感度を測定するFIMの対角要素は、効果的に忘れるのに十分な情報を含んでいるということである。 具体的には、トレーニング可能なすべての重量に対して、FIM対角線を2つのサブセット -- 保持および忘れるデータ -- で計算する。 この対角表現は、計算を劇的に減らしながら完全なFIMを近似する。 次に、重みを選択的に更新して、機密部分集合の忘れを最大にしつつ、保持部分集合への影響を最小限に抑えます。 実験により、ニューラルネットワークアーキテクチャ全体にわたるトレーニングデータのランダムに選択されたサブセットを、アルゴリズムがうまく忘れることができることが示された。 FIMの対角性を活用することで、我々のアプローチは、実用的なプライバシー上の利点のある機械学習のための解釈可能で軽量で効率的なソリューションを提供する。

関連論文リスト

• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Deep Unlearning: Fast and Efficient Training-free Approach to Class Forgetting [9.91998873101083]
  学習モデルから特定のクラスを戦略的に除去する新しいクラスアンラーニングアルゴリズムを提案する。 我々は、元のモデルと比較して精度を保ったままのsim 1.5%$の値しか持たないVision Transformerを用いて、ImageNet上でアルゴリズムの有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-01T18:29:08Z)
• CovarNav: Machine Unlearning via Model Inversion and Covariance Navigation [11.222501077070765]
  機械学習は、訓練されたモデルに対する特定のトレーニングデータポイントの影響を選択的に除去する重要なテクニックとして登場した。 我々は,このことを忘れないように,CovarNavという3段階のプロセスを導入する。 CIFAR-10とVggface2データセット上でCovarNavを厳格に評価する。
  論文  参考訳（メタデータ） (2023-11-21T21:19:59Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• One-Shot Machine Unlearning with Mnemonic Code [5.579745503613096]
  機械学習(MU)は、トレーニングされたディープラーニングモデルから望ましくないトレーニングデータを忘れることを目的としている。 単純なMUアプローチは、望ましくないデータが削除されたトレーニングデータで、モデル全体を再トレーニングすることです。 追加の訓練を必要としないワンショットMU法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T04:59:24Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Towards Deep Learning Models Resistant to Large Perturbations [0.0]
  敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。 とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
  論文  参考訳（メタデータ） (2020-03-30T12:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。