論文の概要: Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an
Incompetent Teacher
- arxiv url: http://arxiv.org/abs/2205.08096v1
- Date: Tue, 17 May 2022 05:13:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 13:54:32.290684
- Title: Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an
Incompetent Teacher
- Title（参考訳）: 悪い教えは忘れを誘うか?
無能な教師を用いた深層ネットワークの非学習
- Authors: Vikram S Chundawat, Ayush K Tarun, Murari Mandal, Mohan Kankanhalli
- Abstract要約: そこで本研究では,学習者・教師の知能・能力に乏しい教師を学習者・教師の枠組みで探究し,忘れがちさを誘発する手法を提案する。
有能で無能な教師からの知識を学生に選択的に伝達し、忘れデータに関する情報を一切含まないモデルを得る。
- 参考スコア（独自算出の注目度）: 6.884272840652062
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Machine unlearning has become an important field of research due to an
increasing focus on addressing the evolving data privacy rules and regulations
into the machine learning (ML) applications. It facilitates the request for
removal of certain set or class of data from the already trained ML model
without retraining from scratch. Recently, several efforts have been made to
perform unlearning in an effective and efficient manner. We propose a novel
machine unlearning method by exploring the utility of competent and incompetent
teachers in a student-teacher framework to induce forgetfulness. The knowledge
from the competent and incompetent teachers is selectively transferred to the
student to obtain a model that doesn't contain any information about the forget
data. We experimentally show that this method is well generalized, fast, and
effective. Furthermore, we introduce a zero retrain forgetting (ZRF) metric to
evaluate the unlearning method. Unlike the existing unlearning metrics, the ZRF
score does not depend on the availability of the expensive retrained model.
This makes it useful for analysis of the unlearned model after deployment as
well. The experiments are conducted for random subset forgetting and class
forgetting on various deep networks and across different application domains. A
use case of forgetting information about the patients' medical records is also
presented.
- Abstract（参考訳）: 機械学習(ML)アプリケーションへのデータプライバシ規則と規則の進化に焦点が当てられているため、機械学習は研究の重要分野となっている。
これにより、スクラッチから再トレーニングすることなく、すでにトレーニング済みのMLモデルから特定のセットやクラスのデータを削除する要求が容易になる。
近年,非学習を効果的かつ効率的に行う試みがいくつか行われている。
そこで本研究では,学習者や教師の指導力の欠如を意識した学習手法を提案する。
有能で無能な教師からの知識は、生徒に選択的に伝達され、忘れられたデータに関する情報を一切含まないモデルを得る。
実験により, この手法は十分に一般化し, 高速かつ効果的であることを示した。
さらに,無学習法を評価するために,ゼロリトレインフォーティング(zrf)メトリックを導入する。
既存の未学習のメトリクスとは異なり、ZRFスコアは高価な再学習モデルの可用性に依存しない。
これにより、デプロイ後の未学習モデルの分析にも役立ちます。
実験は、様々なディープネットワークおよび異なるアプリケーションドメイン上で、無作為なサブセット忘れとクラス忘れのための実験である。
また、患者の医療記録に関する情報を忘れるユースケースも紹介する。
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。
総合的な機械学習評価ベンチマークであるMUSEを提案する。
人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
論文 参考訳（メタデータ） (2024-07-08T23:47:29Z) - TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。
トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。
未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
論文 参考訳（メタデータ） (2024-01-11T18:57:12Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳（メタデータ） (2023-07-07T03:07:26Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳（メタデータ） (2022-10-15T05:00:20Z) - Zero-Shot Machine Unlearning [6.884272840652062]
現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。
トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。
本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
論文 参考訳（メタデータ） (2022-01-14T19:16:09Z) - Fast Yet Effective Machine Unlearning [6.884272840652062]
本稿では,誤り最大化雑音発生と不適切な反動に基づく重み操作を併用した新しい機械学習フレームワークを提案する。
モデル全体の精度を著しく保ちながら、優れた未学習を示す。
この作業は、ディープネットワークにおけるアンラーニングの迅速かつ簡単な実装に向けた重要なステップである。
論文 参考訳（メタデータ） (2021-11-17T07:29:24Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Certifiable Machine Unlearning for Linear Models [1.484852576248587]
機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。
本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
論文 参考訳（メタデータ） (2021-06-29T05:05:58Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳（メタデータ） (2020-07-09T09:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。