論文の概要: Deep Unlearning: Fast and Efficient Training-free Approach to Controlled
Forgetting
- arxiv url: http://arxiv.org/abs/2312.00761v1
- Date: Fri, 1 Dec 2023 18:29:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 13:35:43.089619
- Title: Deep Unlearning: Fast and Efficient Training-free Approach to Controlled
Forgetting
- Title(参考訳): 深層学習 - 高速かつ効率的なトレーニング不要アプローチ
- Authors: Sangamesh Kodge, Gobinda Saha and Kaushik Roy
- Abstract要約: 本研究では,学習モデルからクラス全体あるいはクラス群を戦略的に除去する新しいクラスアンラーニングアルゴリズムを提案する。
我々は、元のモデルと比較して精度を保ったまま1.5%の$sim$1.5%の値しか持たないVision Transformerを用いて、ImageNet上でアルゴリズムの有効性を実証する。
- 参考スコア(独自算出の注目度): 11.149073203271083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning has emerged as a prominent and challenging area of
interest, driven in large part by the rising regulatory demands for industries
to delete user data upon request and the heightened awareness of privacy.
Existing approaches either retrain models from scratch or use several
finetuning steps for every deletion request, often constrained by computational
resource limitations and restricted access to the original training data. In
this work, we introduce a novel class unlearning algorithm designed to
strategically eliminate an entire class or a group of classes from the learned
model. To that end, our algorithm first estimates the Retain Space and the
Forget Space, representing the feature or activation spaces for samples from
classes to be retained and unlearned, respectively. To obtain these spaces, we
propose a novel singular value decomposition-based technique that requires
layer wise collection of network activations from a few forward passes through
the network. We then compute the shared information between these spaces and
remove it from the forget space to isolate class-discriminatory feature space
for unlearning. Finally, we project the model weights in the orthogonal
direction of the class-discriminatory space to obtain the unlearned model. We
demonstrate our algorithm's efficacy on ImageNet using a Vision Transformer
with only $\sim$1.5% drop in retain accuracy compared to the original model
while maintaining under 1% accuracy on the unlearned class samples. Further,
our algorithm consistently performs well when subject to Membership Inference
Attacks showing 7.8% improvement on average across a variety of image
classification datasets and network architectures, as compared to other
baselines while being $\sim$6x more computationally efficient.
- Abstract(参考訳): 機械学習は、業界が要求に応じてユーザーデータを削除し、プライバシーの意識を高めることに対する規制の要求が高まり、目覚ましい分野として浮上している。
既存のアプローチでは、モデルをスクラッチから再トレーニングするか、あるいは削除要求毎にいくつかの微調整ステップを使用する。
本研究では,学習モデルからクラス全体やクラス群を戦略的に排除するために設計された,新しいクラスアンラーニングアルゴリズムを提案する。
その目的のために,本アルゴリズムはまず,保持するクラスと学習しないクラスからのサンプルの特徴空間や活性化空間を表現して,保持空間とフォークスペースを推定する。
これらの空間を得るために,ネットワークを経由する数個のフォワードパスからネットワークアクティベーションを階層的に収集する必要がある新しい特異値分解に基づく手法を提案する。
そして、これらの空間間の共有情報を計算し、それを忘れる空間から取り除き、アンラーニングのためのクラス差別的特徴空間を分離します。
最後に,モデル重みをクラス判別空間の直交方向に投影し,未学習モデルを得る。
アルゴリズムの有効性をImageNet上で実証し、未学習のクラスサンプルに対して1%未満の精度を維持しながら、元のモデルと比較して精度を保ったまま、$\sim$1.5%の値のみのVision Transformerを用いて示す。
さらに,様々な画像分類データセットやネットワークアーキテクチャに対して平均7.8%の改善を示すメンバシップ推論攻撃に対して,計算効率が$\sim$6xであるのに対して,我々のアルゴリズムは一貫して性能が向上する。
関連論文リスト
- $\nabla τ$: Gradient-based and Task-Agnostic machine Unlearning [7.04736023670375]
グラディエントベースおよびタスク非依存マシンUnlearning(nabla tau$)を紹介する。
$nabla tau$は、残りのデータに対して標準の勾配勾配を使いながら、忘れられるデータに適応的な勾配勾配を適用します。
我々は、確立されたメンバーシップ推論攻撃指標を用いて、フレームワークの有効性を評価する。
論文 参考訳(メタデータ) (2024-03-21T12:11:26Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳(メタデータ) (2023-11-26T07:39:00Z) - Boundary Unlearning [5.132489421775161]
我々は、訓練された機械学習モデルからクラス全体を解放する、迅速かつ効果的な方法である境界アンラーニングを提案する。
画像分類タスクと顔認識タスクにおいて境界アンラーニングを広範囲に評価し,それぞれ17タイムと19タイムの速さで評価した。
論文 参考訳(メタデータ) (2023-03-21T03:33:18Z) - Oracle Inequalities for Model Selection in Offline Reinforcement
Learning [105.74139523696284]
本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。
対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。
そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
論文 参考訳(メタデータ) (2022-11-03T17:32:34Z) - Incremental Learning of Structured Memory via Closed-Loop Transcription [20.255633973040183]
本研究は、インクリメンタルな設定で複数のオブジェクトクラスの構造化記憶を学習するための最小限の計算モデルを提案する。
本手法は,従来のインクリメンタルラーニング手法よりもシンプルで,モデルサイズ,ストレージ,計算の面でより効率的である。
実験結果から,本手法は破滅的忘れを効果的に軽減し,生成的リプレイよりも高い性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2022-02-11T02:20:43Z) - Few-Shot Object Detection via Association and DIscrimination [83.8472428718097]
AssociationとDIscriminationによるオブジェクト検出は、新しいクラスごとに2つのステップで識別可能な特徴空間を構築している。
Pascal VOCとMS-COCOデータセットの実験では、FADIは新しいSOTAパフォーマンスを実現し、ショット/スプリットのベースラインを+18.7で大幅に改善した。
論文 参考訳(メタデータ) (2021-11-23T05:04:06Z) - Online Selective Classification with Limited Feedback [82.68009460301585]
オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。
私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。
smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
論文 参考訳(メタデータ) (2021-10-27T08:00:53Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Class-incremental Learning using a Sequence of Partial Implicitly
Regularized Classifiers [0.0]
クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。
CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
論文 参考訳(メタデータ) (2021-04-04T10:02:45Z) - SCAN: Learning to Classify Images without Labels [73.69513783788622]
機能学習とクラスタリングを分離する2段階のアプローチを提唱する。
表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。
我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
論文 参考訳(メタデータ) (2020-05-25T18:12:33Z) - ScaIL: Classifier Weights Scaling for Class Incremental Learning [12.657788362927834]
ディープラーニングのアプローチでは、一定の計算予算は、すべてのインクリメンタルな状態に対して固定されたアーキテクチャを使用する必要がある。
境界メモリは、新しいクラスに有利なデータ不均衡を生成し、それらに対する予測バイアスが現れる。
過去のクラス分類器の重み付けを,新しいクラスに匹敵するものにするために,単純かつ効率的なスケーリングを提案する。
論文 参考訳(メタデータ) (2020-01-16T12:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。