論文の概要: Deep Unlearning: Fast and Efficient Training-free Approach to Controlled
Forgetting
- arxiv url: http://arxiv.org/abs/2312.00761v1
- Date: Fri, 1 Dec 2023 18:29:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 13:35:43.089619
- Title: Deep Unlearning: Fast and Efficient Training-free Approach to Controlled
Forgetting
- Title（参考訳）: 深層学習 - 高速かつ効率的なトレーニング不要アプローチ
- Authors: Sangamesh Kodge, Gobinda Saha and Kaushik Roy
- Abstract要約: 本研究では,学習モデルからクラス全体あるいはクラス群を戦略的に除去する新しいクラスアンラーニングアルゴリズムを提案する。
我々は、元のモデルと比較して精度を保ったまま1.5%の$sim$1.5%の値しか持たないVision Transformerを用いて、ImageNet上でアルゴリズムの有効性を実証する。
- 参考スコア（独自算出の注目度）: 11.149073203271083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning has emerged as a prominent and challenging area of
interest, driven in large part by the rising regulatory demands for industries
to delete user data upon request and the heightened awareness of privacy.
Existing approaches either retrain models from scratch or use several
finetuning steps for every deletion request, often constrained by computational
resource limitations and restricted access to the original training data. In
this work, we introduce a novel class unlearning algorithm designed to
strategically eliminate an entire class or a group of classes from the learned
model. To that end, our algorithm first estimates the Retain Space and the
Forget Space, representing the feature or activation spaces for samples from
classes to be retained and unlearned, respectively. To obtain these spaces, we
propose a novel singular value decomposition-based technique that requires
layer wise collection of network activations from a few forward passes through
the network. We then compute the shared information between these spaces and
remove it from the forget space to isolate class-discriminatory feature space
for unlearning. Finally, we project the model weights in the orthogonal
direction of the class-discriminatory space to obtain the unlearned model. We
demonstrate our algorithm's efficacy on ImageNet using a Vision Transformer
with only $\sim$1.5% drop in retain accuracy compared to the original model
while maintaining under 1% accuracy on the unlearned class samples. Further,
our algorithm consistently performs well when subject to Membership Inference
Attacks showing 7.8% improvement on average across a variety of image
classification datasets and network architectures, as compared to other
baselines while being $\sim$6x more computationally efficient.
- Abstract（参考訳）: 機械学習は、業界が要求に応じてユーザーデータを削除し、プライバシーの意識を高めることに対する規制の要求が高まり、目覚ましい分野として浮上している。
既存のアプローチでは、モデルをスクラッチから再トレーニングするか、あるいは削除要求毎にいくつかの微調整ステップを使用する。
本研究では,学習モデルからクラス全体やクラス群を戦略的に排除するために設計された,新しいクラスアンラーニングアルゴリズムを提案する。
その目的のために,本アルゴリズムはまず,保持するクラスと学習しないクラスからのサンプルの特徴空間や活性化空間を表現して,保持空間とフォークスペースを推定する。
これらの空間を得るために,ネットワークを経由する数個のフォワードパスからネットワークアクティベーションを階層的に収集する必要がある新しい特異値分解に基づく手法を提案する。
そして、これらの空間間の共有情報を計算し、それを忘れる空間から取り除き、アンラーニングのためのクラス差別的特徴空間を分離します。
最後に,モデル重みをクラス判別空間の直交方向に投影し,未学習モデルを得る。
アルゴリズムの有効性をImageNet上で実証し、未学習のクラスサンプルに対して1%未満の精度を維持しながら、元のモデルと比較して精度を保ったまま、$\sim$1.5%の値のみのVision Transformerを用いて示す。
さらに,様々な画像分類データセットやネットワークアーキテクチャに対して平均7.8%の改善を示すメンバシップ推論攻撃に対して,計算効率が$\sim$6xであるのに対して,我々のアルゴリズムは一貫して性能が向上する。
関連論文リスト
- LoRA Unlearns More and Retains More (Student Abstract) [0.0]
PruneLoRAは、モデルに低ランクの更新を適用することで、大規模なパラメータ更新の必要性を減らす。
そこで我々はLoRAを利用してプルーンドモデルのパラメータのサブセットを選択的に修正し、計算コスト、メモリ要件を低減し、残りのクラスの性能を維持するモデルの能力を向上させる。
論文 参考訳（メタデータ） (2024-11-16T16:47:57Z) - $\nabla τ$: Gradient-based and Task-Agnostic machine Unlearning [7.04736023670375]
グラディエントベースおよびタスク非依存マシンUnlearning(nabla tau$)を紹介する。
$nabla tau$は、残りのデータに対して標準の勾配勾配を使いながら、忘れられるデータに適応的な勾配勾配を適用します。
我々は、確立されたメンバーシップ推論攻撃指標を用いて、フレームワークの有効性を評価する。
論文 参考訳（メタデータ） (2024-03-21T12:11:26Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T04:16:40Z) - Boundary Unlearning [5.132489421775161]
我々は、訓練された機械学習モデルからクラス全体を解放する、迅速かつ効果的な方法である境界アンラーニングを提案する。
画像分類タスクと顔認識タスクにおいて境界アンラーニングを広範囲に評価し,それぞれ17タイムと19タイムの速さで評価した。
論文 参考訳（メタデータ） (2023-03-21T03:33:18Z) - One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。
逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。
本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
論文 参考訳（メタデータ） (2022-05-24T15:17:52Z) - Spacing Loss for Discovering Novel Categories [72.52222295216062]
新たなクラスディスカバリ(NCD)は、マシンラーニングモデルがラベルのないデータからインスタンスを意味的にグループ化する、学習パラダイムである。
まず,ラベル付きデータとラベルなしデータを併用する必要があるかどうかに基づいて,既存のNCD手法を1段階および2段階の手法に特徴付ける。
多次元スケーリングのキューを用いて、潜在空間における分離性を強制する単純で強力な損失関数を考案する。
論文 参考訳（メタデータ） (2022-04-22T09:37:11Z) - Incremental Learning of Structured Memory via Closed-Loop Transcription [20.255633973040183]
本研究は、インクリメンタルな設定で複数のオブジェクトクラスの構造化記憶を学習するための最小限の計算モデルを提案する。
本手法は,従来のインクリメンタルラーニング手法よりもシンプルで,モデルサイズ,ストレージ,計算の面でより効率的である。
実験結果から,本手法は破滅的忘れを効果的に軽減し,生成的リプレイよりも高い性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-02-11T02:20:43Z) - Online Selective Classification with Limited Feedback [82.68009460301585]
オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。
私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。
smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
論文 参考訳（メタデータ） (2021-10-27T08:00:53Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳（メタデータ） (2021-04-01T13:55:21Z) - SCAN: Learning to Classify Images without Labels [73.69513783788622]
機能学習とクラスタリングを分離する2段階のアプローチを提唱する。
表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。
我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
論文 参考訳（メタデータ） (2020-05-25T18:12:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。