論文の概要: Deep Regression Unlearning
- arxiv url: http://arxiv.org/abs/2210.08196v2
- Date: Wed, 31 May 2023 11:26:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 04:09:50.785548
- Title: Deep Regression Unlearning
- Title（参考訳）: 深層回帰学習
- Authors: Ayush K Tarun, Vikram S Chundawat, Murari Mandal, Mohan Kankanhalli
- Abstract要約: 我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
- 参考スコア（独自算出の注目度）: 6.884272840652062
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With the introduction of data protection and privacy regulations, it has
become crucial to remove the lineage of data on demand from a machine learning
(ML) model. In the last few years, there have been notable developments in
machine unlearning to remove the information of certain training data
efficiently and effectively from ML models. In this work, we explore unlearning
for the regression problem, particularly in deep learning models. Unlearning in
classification and simple linear regression has been considerably investigated.
However, unlearning in deep regression models largely remains an untouched
problem till now. In this work, we introduce deep regression unlearning methods
that generalize well and are robust to privacy attacks. We propose the
Blindspot unlearning method which uses a novel weight optimization process. A
randomly initialized model, partially exposed to the retain samples and a copy
of the original model are used together to selectively imprint knowledge about
the data that we wish to keep and scrub off the information of the data we wish
to forget. We also propose a Gaussian fine tuning method for regression
unlearning. The existing unlearning metrics for classification are not directly
applicable to regression unlearning. Therefore, we adapt these metrics for the
regression setting. We conduct regression unlearning experiments for computer
vision, natural language processing and forecasting applications. Our methods
show excellent performance for all these datasets across all the metrics.
Source code: https://github.com/ayu987/deep-regression-unlearning
- Abstract（参考訳）: データ保護とプライバシ規制の導入により、マシンラーニング(ML)モデルから、オンデマンドのデータ行を削除することが重要になった。
過去数年間、機械学習において、機械学習モデルから特定のトレーニングデータの情報を効率的に効果的に除去するための顕著な発展があった。
本研究では,特に深層学習モデルにおいて,回帰問題に対するアンラーニングについて検討する。
分類と単純な線形回帰の学習は、かなり研究されてきた。
しかし、深い回帰モデルの未学習は、これまでほとんど未学習の問題のままである。
本研究では,プライバシ攻撃に対して堅牢かつ汎用性の高い深層回帰学習手法を提案する。
本稿では,新しい軽量化プロセスを用いたブラインドスポットアンラーニング手法を提案する。
保持サンプルに部分的に露出したランダム初期化モデルと、元のモデルのコピーを併用して、私たちが忘れたいデータに関する情報を保持し、取り除きたいデータに関する知識を選択的にインプリントする。
また,回帰学習のためのガウス微調整法を提案する。
分類のための既存の未学習メトリクスは、回帰未学習には直接適用されない。
したがって、回帰設定にこれらの指標を適用する。
コンピュータビジョン,自然言語処理,予測アプリケーションのための回帰学習実験を行う。
提案手法は,全メトリクスにわたるこれらのデータセットに対して優れた性能を示す。
ソースコード: https://github.com/ayu987/deep-regression-unlearning
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - Generalized Regression with Conditional GANs [2.4171019220503402]
本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。
回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
論文 参考訳（メタデータ） (2024-04-21T01:27:47Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳（メタデータ） (2023-04-07T08:50:18Z) - Machine Unlearning Method Based On Projection Residual [23.24026891609028]
本稿ではニュートン法に基づく投射残差法を採用する。
主な目的は、線形回帰モデルとニューラルネットワークモデルという文脈で機械学習タスクを実装することである。
実験により, この手法は, モデル再学習に近いデータ削除において, より徹底的な手法であることが確認された。
論文 参考訳（メタデータ） (2022-09-30T07:29:55Z) - Zero-Shot Machine Unlearning [6.884272840652062]
現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。
トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。
本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
論文 参考訳（メタデータ） (2022-01-14T19:16:09Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - Variational Bayesian Unlearning [54.26984662139516]
本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。
消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。
VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
論文 参考訳（メタデータ） (2020-10-24T11:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。