論文の概要: $\nabla τ$: Gradient-based and Task-Agnostic machine Unlearning
- arxiv url: http://arxiv.org/abs/2403.14339v1
- Date: Thu, 21 Mar 2024 12:11:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:28:30.323867
- Title: $\nabla τ$: Gradient-based and Task-Agnostic machine Unlearning
- Title（参考訳）: $\nabla τ$: Gradient-based and Task-Agnostic Machine Unlearning
- Authors: Daniel Trippa, Cesare Campagnano, Maria Sofia Bucarelli, Gabriele Tolomei, Fabrizio Silvestri,
- Abstract要約: グラディエントベースおよびタスク非依存マシンUnlearning(nabla tau$)を紹介する。
$nabla tau$は、残りのデータに対して標準の勾配勾配を使いながら、忘れられるデータに適応的な勾配勾配を適用します。
我々は、確立されたメンバーシップ推論攻撃指標を用いて、フレームワークの有効性を評価する。
- 参考スコア（独自算出の注目度）: 7.04736023670375
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine Unlearning, the process of selectively eliminating the influence of certain data examples used during a model's training, has gained significant attention as a means for practitioners to comply with recent data protection regulations. However, existing unlearning methods face critical drawbacks, including their prohibitively high cost, often associated with a large number of hyperparameters, and the limitation of forgetting only relatively small data portions. This often makes retraining the model from scratch a quicker and more effective solution. In this study, we introduce Gradient-based and Task-Agnostic machine Unlearning ($\nabla \tau$), an optimization framework designed to remove the influence of a subset of training data efficiently. It applies adaptive gradient ascent to the data to be forgotten while using standard gradient descent for the remaining data. $\nabla \tau$ offers multiple benefits over existing approaches. It enables the unlearning of large sections of the training dataset (up to 30%). It is versatile, supporting various unlearning tasks (such as subset forgetting or class removal) and applicable across different domains (images, text, etc.). Importantly, $\nabla \tau$ requires no hyperparameter adjustments, making it a more appealing option than retraining the model from scratch. We evaluate our framework's effectiveness using a set of well-established Membership Inference Attack metrics, demonstrating up to 10% enhancements in performance compared to state-of-the-art methods without compromising the original model's accuracy.
- Abstract（参考訳）: モデルのトレーニングで使用されるデータ例の影響を選択的に排除する機械学習は,実践者が最近のデータ保護規則に従う手段として注目されている。
しかし、既存のアンラーニング手法は、しばしば多数のハイパーパラメータと関連付けられ、比較的小さなデータ部分のみを忘れることの制限など、非常に高いコストを含む重大な欠点に直面している。
これにより、スクラッチからモデルを再トレーニングすることが、より迅速で効果的なソリューションになることが多い。
本研究では,学習データのサブセットの影響を効率的に除去する最適化フレームワークである,Gradient-basedおよびTask-Agnostic Machine Unlearning(\nabla \tau$)を紹介する。
残りのデータに対して標準勾配勾配を用いて、忘れるべきデータに適応勾配を付与する。
$\nabla \tau$は、既存のアプローチよりも多くのメリットを提供する。
トレーニングデータセットの大部分(最大30%)の未学習を可能にする。
多様な未学習タスク(サブセットの忘れやクラス削除など)をサポートし、異なるドメイン(イメージ、テキストなど)で適用することができる。
重要なのは、$\nabla \tau$はハイパーパラメータ調整を必要としないことだ。
我々は、確立されたメンバーシップ推論攻撃指標を用いてフレームワークの有効性を評価し、元のモデルの精度を損なうことなく、最先端の手法と比較して最大10%の性能向上を示す。
関連論文リスト
- Data curation via joint example selection further accelerates multimodal learning [3.329535792151987]
サンプルを個別に選択するよりも,データのバッチを共同で選択することが学習に有効であることを示す。
このようなバッチを選択するための単純かつトラクタブルなアルゴリズムを導出し、個別に優先順位付けされたデータポイントを超えてトレーニングを著しく加速する。
論文 参考訳（メタデータ） (2024-06-25T16:52:37Z) - Towards Scalable Exact Machine Unlearning Using Parameter-Efficient Fine-Tuning [35.681853074122735]
本研究では,S3T (Sequence-aware Sharded Sliced Training) を導入し,非学習システムの削除能力を向上させる。
S3Tは不整合データスライスで順次レイヤをトレーニングすることでパラメータ分離を可能にする。
モデルを複数のデータシーケンスでトレーニングすることで、S3Tでは削除要求の増加を処理することができます。
論文 参考訳（メタデータ） (2024-06-24T01:45:13Z) - A More Practical Approach to Machine Unlearning [0.0]
機械学習は、訓練されたモデルから特定のデータポイントの影響を取り除く能力である。
GPT-2の埋め込み層は効果的なアンラーニングに不可欠である。
ファジィマッチング技術はモデルを新しい最適に移行し、反復的アンラーニングはより完全なモダリティを提供する。
論文 参考訳（メタデータ） (2024-06-13T17:59:06Z) - Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。
本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。
本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
論文 参考訳（メタデータ） (2024-03-24T17:33:22Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳（メタデータ） (2023-06-09T18:40:55Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。
ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
論文 参考訳（メタデータ） (2021-07-08T14:17:24Z) - Model-agnostic and Scalable Counterfactual Explanations via
Reinforcement Learning [0.5729426778193398]
本稿では,最適化手順をエンドツーエンドの学習プロセスに変換する深層強化学習手法を提案する。
実世界のデータを用いた実験により,本手法はモデルに依存しず,モデル予測からのフィードバックのみに依存することがわかった。
論文 参考訳（メタデータ） (2021-06-04T16:54:36Z) - AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。
提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文 参考訳（メタデータ） (2020-08-16T11:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。