論文の概要: Is Retain Set All You Need in Machine Unlearning? Restoring Performance of Unlearned Models with Out-Of-Distribution Images
- arxiv url: http://arxiv.org/abs/2404.12922v1
- Date: Fri, 19 Apr 2024 14:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 14:46:18.471937
- Title: Is Retain Set All You Need in Machine Unlearning? Restoring Performance of Unlearned Models with Out-Of-Distribution Images
- Title（参考訳）: マシン・アンラーニングで必要なものはすべて残されているか? アウトオブオフ・ディストリビューション・イメージを用いた未学習モデルの復元性能
- Authors: Jacopo Bonato, Marco Cotogni, Luigi Sabetta,
- Abstract要約: SCAR(Selective-distillation for Class and Architecture-Agnostic UnleaRning)を紹介する。
SCARは、保持セットを使わずに、モデルのテスト精度を維持しながら、特定の情報を効率的に除去する。
提案手法の有効性を3つの公開データセットで実験的に検証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we introduce Selective-distillation for Class and Architecture-agnostic unleaRning (SCAR), a novel approximate unlearning method. SCAR efficiently eliminates specific information while preserving the model's test accuracy without using a retain set, which is a key component in state-of-the-art approximate unlearning algorithms. Our approach utilizes a modified Mahalanobis distance to guide the unlearning of the feature vectors of the instances to be forgotten, aligning them to the nearest wrong class distribution. Moreover, we propose a distillation-trick mechanism that distills the knowledge of the original model into the unlearning model with out-of-distribution images for retaining the original model's test performance without using any retain set. Importantly, we propose a self-forget version of SCAR that unlearns without having access to the forget set. We experimentally verified the effectiveness of our method, on three public datasets, comparing it with state-of-the-art methods. Our method obtains performance higher than methods that operate without the retain set and comparable w.r.t the best methods that rely on the retain set.
- Abstract（参考訳）: 本稿では,Selective-distillation for Class and Architecture-Agnostic UnleaRning (SCAR)を提案する。
SCARは、最先端の近似アンラーニングアルゴリズムにおいて重要なコンポーネントであるretainセットを使用することなく、モデルのテスト精度を維持しながら、特定の情報を効率的に除去する。
我々のアプローチでは、修正されたマハラノビス距離を用いて、インスタンスの特徴ベクトルの未学習を忘れるように誘導し、それらを最も間違ったクラス分布に整列させる。
さらに,原モデルの知識を未学習モデルに蒸留し,原モデルの試験性能を保持できる蒸留トリック機構を提案する。
重要なこととして、我々は忘れセットにアクセスすることなく解放するSCARのセルフフォゲットバージョンを提案する。
提案手法の有効性を3つの公開データセットで検証し,最先端の手法と比較した。
本手法は,retain セットを使わずに動作するメソッドよりも高い性能を得る。
関連論文リスト
- Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。
LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。
本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
論文 参考訳（メタデータ） (2024-11-13T08:56:35Z) - Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - Alignment Calibration: Machine Unlearning for Contrastive Learning under Auditing [33.418062986773606]
まず,Machine Unlearning for Contrastive Learning (MUC) の枠組みを提案し,既存の手法を適用した。
我々は,いくつかの手法が未学習者であり,既存の監査ツールがデータ所有者にとって,対照的な学習における未学習の効果を検証するのに十分でないことを観察した。
コントラスト学習の特性を明示的に考慮し,未学習を容易に検証するための新しい指標に最適化することで,アライメント(AC)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-05T19:55:45Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。
この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。
モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文 参考訳（メタデータ） (2024-02-02T13:33:30Z) - Machine Unlearning for Image-to-Image Generative Models [18.952634119351465]
本稿では、画像から画像への生成モデルのための機械学習のための統一フレームワークを提供する。
本稿では,厳密な理論解析を基盤とした計算効率のよいアルゴリズムを提案する。
ImageNet-1KとPlaces-365の2つの大規模データセットに関する実証研究は、我々のアルゴリズムが保持サンプルの可用性に依存していないことを示している。
論文 参考訳（メタデータ） (2024-02-01T05:35:25Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。
このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。
LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
論文 参考訳（メタデータ） (2023-10-02T17:52:24Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Few-Shot Lifelong Learning [35.05196800623617]
Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。
提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。
提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-01T13:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。